언어 모델의 확률장을 비행하는 설치 작업
Distance of Thinking
요약
“생성형 AI는 생각하지 않는다. 예측한다.” 답이 아니라 AI가 답에 이르는 과정을 보여주는 작업입니다. 관람객이 조종하는 비행 경로가 모델의 다음 단어를 고르고, 그 경로가 그대로 답이 됩니다.
- 6개
- 11단계
- 4일
개요
AI를 '생각하는 존재'가 아니라 다음 토큰의 확률을 반복해서 계산하는 시스템으로 다룹니다. 환각도 거짓말이 아니라 확률이 잘못 수렴한 결과로 봅니다. 관람객은 우주선을 몰고 모델이 실제로 계산한 확률의 터널을 지나가고, 통과한 단어가 하나씩 답으로 확정됩니다.
작동 방식
- 토큰으로 나누기 – 관람객이 입력한 문장을 실제 Llama 3 토크나이저로 나눕니다.
- 의미 공간 – 토큰마다 4,096차원 임베딩을 받아 3차원으로 투영하고, 가까운 토큰끼리 선으로 잇습니다.
- 다음 토큰 후보 – 모델에 한 토큰씩 요청해 상위 6개 후보와 그 확률을 받습니다. 가장 확률 높은 후보가 정면에, 낮은 후보가 바깥 고리에 놓인 터널이 됩니다.
- 조종 – 기울기 센서(MPU6050)로 가지를 고르고, 로터리 다이얼로 온도를 바꿉니다. 온도는 화면의 장을 넓히는 동시에 실제로 모델에 전달됩니다.
- 환각 – 낮은 확률의 가지로 벗어날수록 불안정성이 스스로 올라가고, 철자가 어긋난 '유령' 단어들이 나타납니다.
핵심 결정
답을 따로 만들지 않는다 – 비행 경로가 곧 답이다
보여주는 것과 실제로 일어나는 것이 달라서는 안 됐습니다. 샘플링에 개입해야 답이 말 그대로 관람객의 선택으로 만들어집니다.
통과한 토큰이 하나씩 확정되어 문장이 됩니다. 가만히 날면 가장 확률 높은 경로를 따릅니다.
확률은 흉내 내지 않고, 모델이 실제로 낸 값을 쓴다
클라우드 모델은 실제 확률을 공개하지 않아, 모델의 내부 상태를 보여준다고 말할 수 없었습니다.
로컬 Ollama의 logprobs로 실제 후보와 확률을 받습니다. 인터넷 없이 전시장에서 돌아갑니다.
언어에 따라 모델을 바꾼다
한국어를 잘 쓰는 EXAONE이 영어 문장에서는 같은 말을 되풀이했습니다.
한국어 프롬프트는 EXAONE 3.5, 영어는 Llama 3로 답합니다.
흔들기 입력을 버리고, 기울기는 조종에만 쓴다
센서를 흔들어 환각을 일으키면 원인이 관람객의 손에 있게 됩니다. 환각은 확률 낮은 선택의 결과여야 했습니다.
불안정성은 낮은 확률의 토큰으로 날아갈 때만 쌓입니다.
색 없이, 흑과 백만으로
경고색을 쓰는 순간 흔한 'AI UI'처럼 보입니다.
의미는 밀도, 투명도, 크기, 움직임으로만 전합니다. 레퍼런스는 이케다 료지의 data-verse입니다.
전시 준비
- 전시 모드 – 운영 UI를 숨기고, 75초 동안 입력이 없으면 스스로 도는 화면으로 넘어갑니다.
- 예열 – 관람 전에 모델을 미리 불러오는 버튼. 생성이 실패해도 로컬 대체 흐름이 화면을 이어갑니다.
- 네트워크 – 센서를 읽는 Web Serial은 보안 페이지가 필요해, 클라우드 배포 대신 사설 네트워크의 HTTPS 주소 하나로 운영합니다.
회고
- 보여주는 것이 사실이어야 설득된다. 확률을 흉내 내는 대신 실제 값을 쓰기로 하자, 작업의 주장과 구현이 같은 말을 하게 됐습니다.
- 하지 못한 것 – 실물 조형물은 만들지 못했고, 아두이노 컨트롤러는 실제 연결 테스트를 마치지 못했습니다. 장시간 전시 안정화도 남아 있습니다.