MediaPipe의 시대
구글의 MediaPipe가 브라우저에서 손, 얼굴, 자세를 실시간으로 추적할 수 있게 만들어줬다. WebGL 가속을 받으면 노트북에서도 60fps이 나온다.
이걸 알게 된 뒤로 입력 방식이 키보드/마우스가 아닌 게임을 만들기 시작했다.
gatcha — 손동작 인형뽑기
웹캠 앞에서 손을 펴고 쥐는 동작으로 집게를 조종한다. Three.js로 만든 3D 인형뽑기 박스 안에서 손이 집게가 된다. 가족 모임에서 시연했을 때 가장 반응이 좋았다.
flyman — 팔을 펴서 나는 펭귄
웹캠으로 양 어깨의 각도를 측정해 비행 방향을 결정한다. 협곡 사이를 날며 코인을 모은다. 컨셉은 단순한데, 실제로 양 팔을 흔들며 게임하는 모습이 본인에게는 우스꽝스럽고 옆에서 보는 사람에게는 더 웃기다.
bang-zombie — 손 권총 + 윙크 발사
검지와 엄지로 권총 모양을 만들면 화면에 조준선이 뜨고, 윙크하면 발사된다. 1인칭 좀비 슈팅. 카메라가 사용자의 머리를 추적해 시점이 따라 움직이는 게 핵심.
왜 이 방향인가
키보드와 마우스는 이미 너무 익숙해서 게임의 "새로움"이 사라진다. 신체 움직임을 입력으로 쓰면, 단순한 게임도 처음 만져보는 도구처럼 느껴진다.
다음 실험
발 동작을 입력으로 쓰는 게임을 만들고 싶다. 웹캠을 바닥에 두고 발의 위치를 추적하면 댄스 게임이 된다. 아마 다음 달의 daily app 중 하나가 될 듯.