소식 · 장재민

모니터 화면에 보이지 않는 데이터를 숨겨봤습니다.

시연 영상 · PC 화면을 iPhone 카메라로 비춰 화면의 광학패턴을 읽어 연동하는 모습

26-11-05

안녕하세요. 장재민입니다. 개인 홈페이지도 만든김에, 제가 AI랑하는 뻘짓들을 포트폴리오로 남겨보기 위해서 소식탭을 개설했습니다.

무엇을 만들었나?

한마디로 요약하면, 육안으로 식별하기 어려운 광학 패턴을 이용해 디스플레이에서 카메라로 데이터를 전달하는 통신 기술입니다.

처음엔 카메라로 모니터를 찍으면 화면의 소자가 그대로 찍힌다는 점에서 시작을 했습니다. 우글우글거리면서 보기싫게 찍힐때 있잖아요? 바로 그게 아이디어의 출발점 이였어요.

디스플레이에 표시되는 색상(RGB) 값을 소프트웨어로 아주 조금씩 조절해서 고유한 패턴을 만들면, QR 코드 같은걸 따로 만들어서 띄우지 않아도 카메라만 디스플레이에 가져다 대는 것으로 URL이나 앱정보 같은걸 넘길 수 있지 않을까? 하는 생각을 하게 된거죠.

사실 쉽게 생각하면, 웹페이지가 표시되는 화면 위에 색상을 미세하게 조절하는 투명한 셀로판지 두 장을 겹쳐 놓는 것과 비슷합니다. 밝을 때를 대비한 셀로판지와, 어두울 때를 대비한 셀로판지 입니다.

그리고 디스플레이가 이 셀로판지들을 통하게 되면 화면에 표시되는 색상값이 미세하게 조절된 상태로 보이게 되는것이죠.
이 방식의 장점은 접속하는 모든 홈페이지의 코드를 수정할 필요가 없다는 점입니다.

관련 선행연구를 살펴보니 화면의 프레임을 시간에 따라 변조하거나, 한 프레임에 더 많은 정보를 담아 전송속도를 높이는 등 다양한 방식이 이미 연구되고 있더라고요.

그러니까 관련 특허가 상당히 많고, 상용화하려면 추가적인 법적 검토를 받아야할거같아서 우선 개발을 보류하고 포트폴리오로 남기려고 합니다.

아무도 안 만들었으면 제가 독점하는 건데 말이죠... 참 세상 사람들은 똑똑해요

기술 설명

영상에서 보시다시피 모니터에는 QR 코드 같은 건 없죠?
하지만 지금 화면에는 제가 만든 일렉트론 기반 브라우저가 카메라용 광학 신호를 넣고 있습니다.

앞서 설명한 것처럼, 이 브라우저는 화면 전체에 투명한 캔버스 두 장을 겹칩니다. 각 캔버스는 서로 다른 색상 합성 방식을 쓰는데, 말이 거창한 거지 사실은 CSS를 활용한 것이라고 보시면됩니다.
각각 Multiply와 Plus-lighter라고 합니다.

Multiply: 파란색(B) 값을 미세하게 낮춥니다.

Plus-lighter: 파란색(B) 값을 미세하게 높입니다.

두 장은 항상 함께 켜져 있는거고요. 어느 칸을 낮추고 어느 칸을 올릴지가 곧 데이터겠죠.

즉, 페이지의 글과 이미지, 스크립트는 바꾸지 않고, 화면에 출력되는 결과에만 카메라가 읽을 수 있는 광학 패턴을 넣는 것입니다.

실험 결과
현재까지 약 30회의 인식 테스트를 진행했는데, 의미가 있는 결과는 맞습니다. 실증은 된거거든요.
테스트 거리: 약 60cm
촬영 각도: 모니터 정면
인식 소요 시간: 약 500~900ms
관찰된 인식률: 약 80~95%
픽셀 변조 강도: δ=4 (8비트 채널 기준)

일단은 여기까지입니다.
간단한 아이디어에서 출발한 프로젝트였지만, 실제로 구현이 된다고는 저도 생각을 못해봤네요.
이쪽에 지식이 그렇게 많지도 않아 공부하면서 만들다 보니 잡지식이 하나 또 늘게 되었네요.
안녕~

← 소식 목록