포브스애브뉴를 따라 CMU로

오늘 오후 일정은 CMU의 에런 스타인필드 교수를 만나는 것이다. 포브스애브뉴를 따라 걸어서 협곡 위 다리를 건너고, 첫 건물을 돌아 차도를 따라 이동했다. 나는 ‘전동휠체어를 타고 이동하기’를 이렇게 ‘걷는다’고 표현한다. 그렇게 CMU 뉴웰-사이먼 홀에 도착했다.

건물에 들어서니 20여 년 전부터 있던 무인안내시스템 로보셉셔니스트(Roboceptionist)가 아직도 자리를 지키고 있었다. 이제는 작동하지 않는 것 같았다.

로보셉셔니스트는 2003년 시작된 프로젝트로, ‘발레리(Valerie)’와 ‘탱크(Tank)’라는 이름의 로봇 시스템으로 약 20년간 운영됐다. 방문자가 키보드나 음성으로 교수 연구실이나 건물 안팎의 시설을 질문하면 모니터와 스피커로 정보를 제공하는 방식이었다.

얼핏 단순한 안내 시스템처럼 보이지만, 이 프로젝트는 CMU 로봇공학연구소와 연극학과의 협업으로 탄생했다. 단순한 길 안내를 넘어 독자적인 성격과 매일 업데이트되는 일상 스토리를 가진 사회적 로봇(Social Robot)이었다. 인간-로봇 상호작용(HRI)에 관한 중요한 연구 데이터를 남긴 뒤, 모바일과 최신 AI 기술의 발전 등 기술 환경 변화에 따라 서비스가 종료된 것이다.

로보셉셔니스트를 지나 어디로 가야 할지 두리번거리는데, 저 멀리서 누군가 손을 흔들고 있었다. 오늘 만나기로 한 에런이었다. 3시에 약속했더니, 그 시간에 맞춰 내려와 본 모양이다.

에런 스타인필드와 다시 만나다

에런과의 인연은 피츠버그대학교에서 내가 주도적으로 수행했던 국립장애재활연구원(NIDRR)의 원격재활 재활공학연구센터(RERC on Telerehabilitation) 프로젝트에서 시작됐다. 그는 자문위원회 위원이었다. 이후 미국과학재단(NSF)의 삶의질기술 공학연구센터(Quality of Life Technology ERC)를 CMU와 피츠버그대가 공동 수주하면서 함께 참여했다.

에런은 CMU 컴퓨터과학 교수이면서도 장애 관련 연구를 꾸준히 해왔다. 그의 아버지는 뉴욕주립대 버팔로 캠퍼스의 ‘포용적 디자인 및 환경 접근성 연구소’(IDeA Center)를 설립한 에드워드 스타인필드 교수다. 그는 노스캐롤라이나대의 론 메이스, 조지아텍의 존 산포드와 함께 유니버설디자인의 3대 거목으로 꼽힌다.

에런은 아버지의 영향을 받아 장애인 관련 연구에 깊은 관심을 가졌고, 세계 최고의 컴퓨터공학 대학인 CMU에 있으면서도 NIDRR 재활공학연구소와 NSF QoLT ERC 등에 적극 참여했다. 내가 한국으로 온 뒤에는 아버지와 함께 RERC-APT(Accessible Public Transportation)라는 5년+5년, 총 10년짜리 프로젝트를 공동 수주해 학계의 주목을 받기도 했다.

에런과 함께 연구실로 올라갔다. 예전 QoLT ERC 프로젝트에 참여하며 자주 드나들던 연구실들이 보였다. 그때의 기억들이 다시 피어났다.

전동휠체어는 어떻게 로봇이 될 수 있는가

자리에 앉아 가장 먼저 나눈 이야기는 다니엘 시비오렉 교수의 안부였다. 이번 미국 출장의 가장 큰 목적은 현재 개발 중인 전동휠체어에 AI를 어떻게 적용할 것인가, 나아가 Physical AI를 어떻게 적용해 휠체어를 자율주행·행동 로봇으로 만들 것인가에 대한 실마리를 얻는 것이었다.

세계적 대가들과 대화를 나누며 개념을 구체화하고, 가능하면 협력 연구도 추진해보고 싶었다.

출국 전부터 시비오렉 교수와 이메일을 여러 번 주고받았다. 그는 반가워하며 만나서 이야기하자고 했지만, 건강이 나빠져 연구실에 나오지 못한다고 해 안타까웠다. CMU 로보틱스연구소 소장을 지냈고 QoLT 연구소 프로젝트 전반기 5년을 이끌었던 다케오 카나데 교수도 이제는 뵐 수 없어 아쉬웠다. 나를 많이 응원해주셨던 분이다.

시비오렉 교수는 로봇이나 AI가 물리 세계에서 동작할 때 사용자의 상황과 맥락을 AI가 어떻게 인지할 것인가, 즉 Context Awareness의 기초 프레임워크를 정립한 학자다. Physical AI가 사람과 긴밀히 협력하려면 시스템의 신뢰성과 AI가 탑재된 하드웨어의 센싱 능력이 필수적인데, 그 기틀을 제공한 거장이다.

카나데 교수는 컴퓨터 비전과 로봇공학 분야의 최고 영예인 교토상(Kyoto Prize)을 받은 전설적인 학자다. 루카스-카나데 알고리즘, 3D 컴퓨터 비전, 안면 인식, 자율주행 기술의 원형을 만든 분으로 평가된다. 1990년대 이미 카메라와 센서 기반 자율주행 차량으로 미국 대륙 횡단에 성공한 ‘No Hands Across America’ 프로젝트를 이끌며, 오늘날 휴머노이드와 로보틱스가 사용하는 ‘Physical AI의 눈’을 연 선구자다.

사용자 관점에서 시작된 스마트안경의 원형

내가 피츠버그대학교에서 VR을 이용한 원격접근성평가시스템을 개발하고 있을 때 QoLT 프로젝트에 참여하며 카나데 교수를 만났다. 그는 ‘Virtualized Reality’라는 용어를 논문에서 처음 사용한 VR의 창시자이기도 했다.

QoLT 프로젝트에서는 다학제 연구진과 노인·장애인 사용자 그룹이 모여 사용자를 이해하기 위한 포커스그룹 연구를 수행했다. 한번은 휠체어 장애인이 “서서 걷는 사람들이 우리를 바라보는 시야와 우리가 세상을 보는 관점은 다르다”고 이야기했다. 그 말을 들은 카나데 교수는 무릎을 탁 쳤다.

그곳에서 QoLT 프로젝트의 대표 성과 중 하나인 FPV(First Person Vision) 안경이 개발됐다. 이 안경에는 두 개의 카메라가 있었다. 하나는 사용자의 시선에 비치는 장면을 촬영하고, 다른 하나는 시선 추적을 위해 눈동자를 향했다. 무선 인터넷과 대용량 하드디스크를 휠체어에 부착해 사용자 관점의 데이터를 수집하도록 만든 장치였다. 지금 메타와 삼성이 만드는 ‘스마트안경’의 효시라고 볼 수 있다.

피츠버그에서 공부하며 이런 세계적 학자들과 이야기하고, 사진을 찍고, 친구가 될 수 있었던 것은 큰 행운이었다.

RAMMP, 그리고 로봇 팔의 Physical AI

내일은 전동휠체어를 로봇화하는 RAMMP 프로젝트로 미국 국방부 DARPA에서 4,150만 달러, 한화 약 600억 원의 연구펀드를 확보한 나의 스승이자 동료 연구자 로리 쿠퍼 교수를 만날 예정이다.

그런데 에런이 뜻밖의 만남을 마련해주었다. RAMMP 프로젝트의 핵심 연구 중 하나인 ‘전동휠체어 탑재형 로봇 팔이 신체장애인의 몸에 안전하게 물리적으로 접촉하고 도울 수 있는’ Physical AI 조작(Manipulation) 및 센싱 알고리즘 개발을 맡고 있는 재커리 에릭슨 교수를 직접 불러 소개해준 것이다.

재커리 에릭슨 교수는 CMU 로봇공학연구소(RI) 내 ‘로보틱 돌봄 및 인간상호작용 연구실’(RCHI Lab)을 운영하고 있다. 많은 이야기를 나누지는 못했지만, 우리도 앞으로 이런 역할을 할 연구팀이 필요하기에 계속 연락하며 교류하기로 했다.

에런은 또 CMU 로봇공학연구소의 다학제 연구그룹 roBot Intelligence Group(BIG)을 이끄는 진 오(Jean Oh) 교수와, CMU에서 컴퓨터과학 박사를 하고 뉴욕대학교(NYU) 작업치료학과 교수로 있는 에이미 허스트 교수도 이메일로 소개해주었다.

한국에도 다시 인재 양성의 열기가 필요하다

현재 삼성전자와 SK하이닉스 등 한국 반도체 기업은 AI의 폭발적 수요에 힘입어 초유의 성과를 거두고 있다. 그러나 이를 이끌어갈 AI 소프트웨어와 Physical AI 실무형 핵심 인재는 전 세계적으로 심각한 구인난을 겪고 있다. 국가 차원의 특단의 인재 양성 투자가 절실하다.

과거 정보통신부는 국내뿐 아니라 해외 유학 인재 지원, CMU 등 글로벌 유수 대학과의 위탁·연계 교육 프로그램을 적극 개발해 한국을 글로벌 IT 강국으로 이끄는 마중물 역할을 했다.

이제 다시 한번 국가 차원의 과감한 인재 양성 투자가 필요하다. AI 전담 부처, 이른바 ‘AI부’를 신설하고, 국내 대학 지원과 함께 앞서가는 해외 유수 기관들과의 교육 협력 프로그램 개발에도 정부가 나서야 하지 않을까.

CMU라는 세계 최고 연구기관에서 뜨거운 연구 열기를 느끼며, 옛 정보통신부 시절 북적거리던 한국 유학생들의 그 열기가 다시 CMU와 피츠버그에서 끓어오르기를 기대해본다.

내일은 재활공학의 AIX, RAMMP 프로젝트를 수주한 세계 최대 재활공학연구소 HERL의 소장 로리 쿠퍼 교수를 만나러 간다.