비전 기반 인터페이스

질문

몸을 입력으로 받을 수 있는가. 받는다면 무엇까지 읽고 무엇은 읽지 않을 것인가.

프로젝트 세 개에서 같은 질문이 돌아왔다. 자동차 안, 관제실, 전시장이다. 세 곳 다 손이 자유롭지 않거나 화면이 멀다. 포인터 대신 머리 기울기와 시선, 손을 각각 어디까지 쓸 수 있는지 봤다.

근거

머리 기울기 – Glide – 에어팟의 머리 움직임 센서와 CoreMotion으로 탑승자의 머리 자세를 받는다. 차가 흔들리기 2~7초 전에 햅틱으로 먼저 알린다(설계값). 커브에서는 진동을 위에서 아래로 흘려 고개를 커브 안쪽으로 기울이게 한다. 몸을 읽어서 다시 몸에 말하는 구조다.
시선 – Feasix AI – 순찰 로봇 관제 화면에서 시선은 입력 장치가 아니다. 설계를 판정하는 자료로 쓰기로 정했다. 아이트래킹은 아직 돌리지 않았다. 인지 부하와 오류율도 측정하지 않았다. 그래서 인지 부하를 줄였다고 쓰지 않는다.
손 – Distance of Thinking – 관람객이 잡는 손잡이가 조종간이다. 기울기 센서(MPU6050)로 확률장의 가지를 고르고 로터리 다이얼로 온도를 바꾼다. 카메라를 쓰지 않으니 어두운 전시장을 전제로 설계했다. 다만 아두이노 컨트롤러는 실제 연결 테스트를 마치지 못했다. 공개한 녹화와 화면은 마우스와 휠로 조작했다.
버린 입력 – Distance of Thinking – 센서를 흔들어 환각을 일으키는 입력은 뺐다. 그 입력을 두면 환각의 원인이 관람객의 손에 남는다. 환각은 확률 낮은 선택의 결과여야 했다. 몸을 입력으로 받는다고 모든 움직임을 입력으로 만들지는 않았다.

지금까지의 답

몸 데이터에는 비용이 따른다. Glide는 건강 데이터 연동을 뺐고 얼굴 영상은 저장하지 않는다. 멀미 지표는 클라우드 없이 폰에서 적분한다. 대가로 감지 정확도를 잃었다. 애초에 보내지 않은 데이터는 규제 대상도 아니다. 잃은 정확도는 양산 단계의 차량 내장 센서로 되찾는 편이 맞다고 봤다.

시선은 입력이 아니라 근거로도 쓴다. 시선으로 누르게 만들면 오인식이 곧 오조작이 된다. 관제 화면에서는 시선을 설계의 판정 자료로 두는 편이 안전하다고 봤다.

센서가 카메라보다 나을 때가 있다. 기울기 하나로 되는 일에 카메라를 쓰면 조명과 사생활과 연산이 전부 따라온다. Glide의 검증 축 네 개 중 행동 축은 고개 숙임과 손-입 가림 제스처를 CV로 잡는다. 이 축은 검증용이고 제품의 입력이 아니다. 네 축은 모두 만들었지만 표본이 적어 통계적 유의성은 없다.

몸을 읽을수록 설명이 더 필요해진다. 시스템이 먼저 움직이면 사람은 이유를 묻는다. Glide가 왜 지금 알렸는지를 늘 함께 말하는 이유다. 임계값 아래에서는 말하지 않는다.

아직 모르는 것

아이트래킹 – Feasix AI의 2차 검증은 계획이고 결과는 없다.
실차 검증 – Glide의 효과 수치는 전부 시뮬레이션이다. 머리 자세를 읽어 미리 알린 것이 실제로 멀미를 줄였는지는 같은 구간의 대조 실험으로 확인해야 한다.
컨트롤러 – Distance of Thinking의 하드웨어 조종은 실제 연결 테스트가 남았다.