커리어리 친구들, 구글이 LLM으로 로봇 고도화하는 오토RT를 공개했습니다. 오토RT는 로봇의 '두뇌'에 해당하는 모델로, 지난해 개발한 로봇 제어 모델(RT-1, RT-2)에 LLM과 영상 언어모델(VLM)을 결합해, 새로운 방식으로 학습 데이터를 수집할 수 있다고 합니다.

로봇의 비디오 카메라를 통해 수신한 영상을 VLM으로 파악하고, LLM은 로봇이 수행할 임무를 생성합니다. 예를 들어 바닥에 떨어진 물건을 카메라로 발견해 이를 '쓰레기'라고 분석한 뒤, 가장 적절한 동작을 추론해 로봇에 쓰레기를 치우도록 명령하는 방식이라고 합니다. 

https://www.aitimes.com/news/articleView.html?idxno=156347