모델2026-11-06

엔비디아, 가상 세계를 실시간으로 구현하는 Cosmos 3 공개

한국 독자에게 왜 중요할까?
엔비디아의 새로운 오픈 모델 'Cosmos 3'는 상호작용형 세계 시뮬레이션 기술을 제시하며, 향후 게임 및 가상 현실 산업의 AI 활용 범위를 획기적으로 넓힐 핵심 기술로 주목받고 있습니다.

엔비디아가 새로운 오픈 모델인 'Cosmos 3'를 공개하며 가상 세계 시뮬레이션 기술의 지평을 넓히고 있습니다. 이번에 선보인 모델은 총 4종으로, 단순히 영상을 생성하는 단계를 넘어 로봇의 동작이나 자율주행차의 조작에 따라 실시간으로 변화하는 환경을 예측하고 구현하는 데 특화되어 있습니다. 이는 AI가 가상 공간 내에서 현실과 유사한 물리적 반응을 학습할 수 있도록 돕는 핵심 도구가 될 전망입니다.

가장 눈에 띄는 기능은 상호작용형 시뮬레이션입니다. 기존의 AI 영상 생성 모델이 정해진 결과물을 보여주는 데 그쳤다면, Cosmos 3는 사용자의 입력이나 로봇의 움직임에 따라 시각적 결과값이 실시간으로 변합니다. 예를 들어 자율주행차 모델인 'Sim-Auto'는 주행 제어 명령을 입력받아 그에 맞는 카메라 영상과 라이다(LiDAR·레이저를 이용해 주변 물체와의 거리를 측정하는 센서) 데이터를 즉각적으로 생성해냅니다.

로봇 공학 분야를 위한 'Sim-Bimanual' 모델도 주목할 만합니다. 이 기술은 양팔 로봇의 움직임을 시뮬레이션하며, 로봇이 물체를 조작할 때 주변 환경이 어떻게 변화하는지를 시각적으로 예측합니다. 엔비디아 측은 이러한 기술에 대해 연구자들이 각자의 환경에 맞춰 모델을 수정하고 개선할 수 있도록 가중치를 공개하는 방식을 택했습니다. 이는 누구나 이 모델을 기반으로 자신만의 가상 환경을 구축할 수 있다는 의미입니다.

기술적으로는 'Mixture-of-Transformers'라는 구조를 통해 텍스트 정보와 시각적 생성 과정을 긴밀하게 연결했습니다. 모델은 과거의 데이터와 현재의 제어 명령을 바탕으로 짧은 영상 조각을 생성하고, 이를 연속적으로 이어 붙여 끊김 없는 스트리밍 시뮬레이션을 구현합니다. 이러한 방식은 복잡한 물리 엔진과 AI를 결합해 더욱 정교한 가상 세계를 만드는 데 필수적인 요소입니다.

엔비디아는 이번 오픈 모델 공개가 단순한 기술 배포를 넘어, AI 학습을 위한 데이터 부족 문제를 해결하는 데 기여할 것으로 보고 있습니다. 현실에서 수집하기 어려운 다양한 주행 상황이나 로봇 작업 환경을 가상 공간에서 무한히 생성해냄으로써, AI의 학습 효율과 안전성을 획기적으로 높일 수 있기 때문입니다. 특히 오픈 모델의 특성상 전 세계 개발자들이 자유롭게 참여하여 모델의 성능을 고도화할 수 있는 생태계가 마련되었습니다.

앞으로의 과제는 모델이 생성한 가상 환경이 실제 현실과 얼마나 정확하게 일치하는지를 검증하고, 이를 정책 결정이나 실제 로봇 제어에 안전하게 활용하는 것입니다. 엔비디아는 "연구자들이 가상 세계를 보다 풍부하고 반응성 있게 만들 수 있도록 돕는 것이 우리의 비전"이라고 밝히며, 향후 가상 현실과 AI의 결합이 게임을 넘어 산업 현장 전반으로 확산될 것임을 시사했습니다.

원문: Hugging Face — New NVIDIA Cosmos 3 Open Models for Interactive World Simulation

← 오늘의 뉴스로

유튜브 채널

AI 한입구독하기

오늘의 AI 뉴스를 쇼츠로 짧게 정리합니다.

숫자쇼크구독하기

숫자로 놀라는 30초 쇼츠, 자매 채널입니다.