AI와 로봇은 방대한 양의 데이터가 필요하다. 수백만 명의 사용자를 보유한 기업은 고객 데이터를 활용할 수 있기 때문에 데이터 수집에서 유리한 위치를 차지한다.

잘 알려진 사례가 구글의 리캡차 v2(reCAPTCHA v2) 서비스다. 리캡차 v2는 구글이 운영하는 클라우드 기반 서비스로, 실제로는 효과가 미미하지만 봇이 웹사이트에 접근하는 것을 차단하는 역할을 한다. 하지만 사용자가 ‘신호등, 횡단보도, 버스’ 등 특정 물체가 포함된 이미지 상자를 클릭하며 자신이 “인간임을 증명”하는 것은 단순한 인증 절차에 그치지 않는다. 해당 데이터는 웨이모(Waymo)의 자율주행차 모델 학습, 구글 지도의 정확도 향상, 그리고 구글 포토 및 이미지 검색 알고리즘의 비전 기술 개선에 활용된다.

이런 방식은 구글만의 전략이 아니다. 마이크로소프트는 팀즈와 코타나에서 수집한 음성 녹음을 처리해 음성 인식 모델을 개선하고 있다.

이제 메타도 사용자 데이터를 로봇 학습에 활용하기 시작했다. 메타의 AR(Augmented Reality) 부문과 조지아 공과대학교 연구팀은 에고미믹(EgoMimic)이라는 프레임워크를 개발했다. 이 시스템은 스마트글래스의 영상 데이터를 활용해 로봇을 훈련하는 방식이다.

AI 기반 로봇 훈련의 새로운 패러다임

일반적인 로봇 모방 학습은 로봇 팔의 원격 조종을 통해 이뤄진다. 사람이 센서가 부착된 특수 의류와 VR 고글을 착용한 상태에서 로봇이 학습해야 할 동작을 직접 수행하는 방식이다. 그러나 이 과정은 느리고 비용이 많이 들며, 확장성이 떨어지는 문제를 안고 있다.

에고미믹은 메타의 프로젝트 아리아(Project Aria) 스마트글래스를 활용해 로봇을 훈련한다.

메타는 첨단 AR 안경을 개발하기 위한 연구 이니셔티브로 프로젝트 아리아를 2020년 9월 발표했다. 이 스마트글래스는 단색, RGB, 시선 추적 기능이 포함된 5개의 카메라, 관성 측정 장비(Inertial Measurement Unit, IMU), 마이크, 환경 센서가 탑재한다. 또한 메타에 따르면 익명화 알고리즘, 녹화 상태를 표시하는 LED 인디케이터, 물리적 프라이버시 스위치 등의 보안 기능도 갖추고 있다.

프로젝트 아리아의 목표는 로봇 공학, 접근성 향상, 3D 장면 재구성 등 다양한 분야에서 활용할 수 있는 기술을 개발하는 것이다. 메타는 2024년 10월 9일 아리아 리서치 키트(Aria Research Kit, ARK)를 출시하며 이 기술을 개방했다.

조지아 공과대학교 연구팀은 프로젝트 아리아 스마트글래스를 활용해 사람이 셔츠를 개거나 식료품을 포장하는 등의 작업을 1인칭 시점에서 녹화함으로써 기존 로봇이 직접 수집한 데이터보다 40배 이상 풍부한 시연 데이터셋을 구축했다.

이 기술은 인간과 로봇의 움직임을 정밀하게 변환하는 역할을 한다. 가우스 정규화(Gaussian normalization)라는 수학적 기법을 활용해 사람의 손목 회전 데이터를 로봇 팔의 정밀한 관절 각도로 위험한 과장 없이 변환한다. 움직임 변환 과정은 공유된 시각적 이해(Shared Visual Understanding)와 결합된다. 즉, 사람이 착용한 스마트글래스와 로봇의 카메라가 동일한 AI 시스템에 데이터를 제공해 객체와 환경을 해석하는 공통 기반을 형성한다.

또한 액션 마스킹(Action Masking)이라는 중요한 안전 장치가 적용돼 로봇이 인간의 동작을 모방할 때, 물리적으로 불가능한 움직임을 시도하지 않도록 차단한다. 이는 마치 보이지 않는 장벽과 같은 역할을 하며, 로봇이 생체역학적으로 무리한 동작을 수행하는 것을 방지한다.

이 모든 과정의 핵심에는 인간의 시연과 로봇의 실행 사이의 격차를 해소하는 에고미믹이 있다.

흥미로운 점은 연구팀이 수집한 영상 데이터를 활용하는 방식이다. 연구팀은 동영상 데이터를 수집한 후, 동일한 AR 스마트글래스를 로봇에 장착해 로봇이 인간이 시연했던 것과 정확히 같은 시점에서 작업을 인식하고 수행할 수 있도록 만든다.

그렇다. 이 연구에서는 로봇이 스마트글래스를 ‘실제로’ 착용한다. 이후 알고리즘이 동영상 속 인간의 동작을 분석해 로봇의 관절과 그리퍼에 적용할 수 있는 실행 가능한 명령으로 변환한다. 이런 방식은 로봇별로 방대한 학습 데이터를 별도로 수집할 필요성을 크게 줄여 준다.

가르치면서 훈련하기

에고미믹의 접근 방식은 기존처럼 기계를 직접 조작하며 단계별로 가르치는 방식에서 벗어나 로봇 훈련의 패러다임을 바꿀 가능성이 있다. 로봇 훈련을 대중화하는 효과도 기대된다. 소규모 사업자나 농업인 등 일반적으로는 로봇 훈련을 시도조차 하지 못했던 사람도 직접 로봇을 훈련할 수 있도록 만든다.

(참고로 메타와 조지아 공과대학교의 에고미믹은 노스캐롤라이나 대학교 샬럿 캠퍼스에서 진행 중인 에고미믹(EgoMimic) 프로젝트와는 다르다. 후자는 1인칭 영상을 활용해 대형 비전-언어 모델을 훈련하는 연구다.)

에고미믹은 2025년 5월 19일 애틀랜타에서 개막하는 IEEE 국제 로봇 및 자동화 컨퍼런스(IEEE Engineers’ International Conference on Robotics and Automation)에서 공개 시연될 예정이다.

이 접근 방식은 연구 단계에서 벗어나 대중적인 활용 단계로 확대될 가능성이 크다. 향후 스마트글래스에는 프로젝트 아리아에 사용된 모든 카메라와 센서가 기본 탑재될 것이며, 수백만 명의 사용자가 착용한 스마트글래스의 멀티모달 AI 동영상 피드가 학습에 활용될 것이다.

AI는 사용자가 무언가를 하고 있는 동영상(요리, 정원 가꾸기, 장비 작동)을 식별해 로봇 훈련 시스템에 제공한다. 이것은 AI 챗봇 훈련 과정과도 유사하다. 수십억 명의 사람이 일상생활에서 다양한 형태의 콘텐츠를 생성하고, 이런 데이터가 AI 학습을 위해 수집되는 것과 같은 원리다.

로봇 맞춤 학습의 새로운 가능성

소비자용 전자기기를 활용해 로봇을 훈련하는 개념은 이번이 처음은 아니다.

이 분야의 선구자인 사라 장 박사는 과거 스마트폰과 디지털 카메라를 활용해 헬스케어 로봇의 훈련 속도를 40% 향상한 사례를 입증한 바 있다. 이 기술을 통해 간호사는 복잡한 프로그래밍 없이 제스처, 음성 명령, 실시간 시연만으로 로봇을 훈련했다.

이런 로봇 훈련 방식의 발전은 적은 예제만으로 학습할 수 있는 AI 기술 덕분에 가능해졌다. 예를 들어, 간호사가 약을 전달하는 방법을 두 번만 시연하면, 로봇은 이를 일반화해 장애물을 피하거나 일정에 맞춰 조정하는 등 변형된 상황도 처리할 수 있도록 학습한다. 또한 이런 로봇은 깊이 감지 카메라와 모션 센서와 같은 다양한 센서를 활용해 제스처와 음성 명령을 해석할 수 있다.

장의 접근 방식을 스마트글래스에 적용하고 대규모로 배포된 에고미믹 시스템과 결합하면 로봇 훈련 방식은 획기적으로 개선될 가능성이 크다.

미래의 스마트글래스 기반 로봇 훈련이 어떤 식으로 이뤄질 수 있는지를 보여주는 시나리오를 소개한다.

한 레스토랑 주인이 배달 피자 주문을 감당하기 어려운 상황에 처했다고 가정해 본다. 주인은 피자 제조 속도를 높이기 위해 로봇을 구매한 뒤, 스마트글래스를 착용한 상태에서 피자 만드는 과정을 녹화한다. 이후 같은 스마트글래스를 로봇에 씌우면 로봇이 이를 학습해 피자 제조 과정을 자동화할 수 있다.

여기서 혁신의 핵심은 로봇이 피자를 만드는 것 자체가 아니다. 사실, 상업용 피자 제조 로봇은 이미 존재한다.

진정한 혁신은 로봇 과학자나 개발자가 아닌 피자 요리사가 직접 자신만의 독창적인 레시피로 훈련할 수 있다는 점이다. 이는 소규모 사업자에게 큰 이점을 제공한다. 기존에는 누구나 동일한 기능을 수행하는 사전 프로그래밍된 로봇을 구매해야 했지만, 자신만의 방식으로 로봇을 학습시켜 맞춤형 작업을 수행하도록 만들 수 있다.

이와 유사한 사례는 가정이나 공장에서도 적용될 수 있다. 예를 들어, 특정 작업을 수행하는 로봇이 필요할 때, 직접 시연하면서 학습하는 방식이 가능해진다.

물론, 이런 실용적인 사용례가 현실화되기까지는 아직 몇 년의 시간이 필요하다. 하지만 현재로서는 일반 대중은 물론, 기술 전문가조차 스마트글래스를 활용한 로봇 훈련을 적극적으로 고려하지 않고 있는 상황이다.

그러나 스마트글래스 기반 로봇 학습은 앞으로 로봇 기술이 대중화되고 주류로 자리 잡는 여러 혁신적인 방법 중 하나가 될 것으로 보인다.
dl-itworldkorea@foundryco.com