아마존 EKS와 엔비디아 모델로 에이전틱 AI 구현하기
한국 독자에게 왜 중요할까?
아마존 EKS와 세이지메이커 환경에서 엔비디아의 최신 뉼티모달 모델을 활용해 에이전틱 AI를 가속화하는 방법을 제시하여 국내 개발자들에게 실질적인 기술 가이드를 제공합니다.
최근 인공지능(AI) 분야에서는 단순한 텍스트 생성 단계를 넘어 스스로 판단하고 도구를 사용하는 에이전틱 AI의 중요성이 커지고 있습니다. 아마존웹서비스(AWS)는 엔비디아의 최신 멀티모달 모델인 뉼레모트론 3.5 슈퍼 VL(NVIDIA Nemotron 3.5 Super VL)을 아마존 EKS와 세이지메이커 하이퍼팟 환경에서 손쉽게 구동할 수 있는 기술 가이드를 제시했습니다. 이 모델은 텍스트는 물론 이미지와 문서, 비디오까지 한 번에 이해할 수 있어 다양한 현업 과제에 유용하게 적용될 수 있습니다.
원문에 따르면 뉼레모트론 3.5 슈퍼 VL은 120B(1200억) 파라미터를 가진 혼합 전문가(MoE) 구조의 오픈 모델로, 토큰당 12B 파라미터를 활성화합니다. 특히 맘바-2(Mamba-2)와 트랜스포머가 결합된 하이브리드 아키텍처를 채택하여, 긴 문맥을 처리할 때도 메모리 부담을 크게 줄인 것이 특징입니다. 이를 통해 개발자들은 고성능의 추론 작업을 더 효율적으로 수행할 수 있는 기반을 갖추게 되었습니다.
이번 가이드는 표준 아마존 EKS를 비롯해 인프라 관리를 자동화하는 EKS 오토 모드, 그리고 세이지메이커 하이퍼팟 EKS 환경을 모두 지원합니다. 개발자들은 쿠버네티스 매니페스트를 활용해 일관된 방식으로 모델을 배포할 수 있으며, 아마존 FSx for 루스트레를 통해 모델 가중치를 공유하고 EFA(Elastic Fabric Adapter)로 GPU 노드들을 연결합니다. 이러한 구조는 대규모 AI 모델을 안정적으로 운영하기 위한 탄탄한 인프라 뼈대를 제공합니다.
성능 검증 측면에서는 엔비디아 다이나모와 vLLM 등을 활용해 단일 노드 또는 분산 환경에서 모델을 구동하는 방법이 소개되었습니다. p6-b200.48xlarge 및 p5en.48xlarge와 같은 고성능 GPU 인스턴스에서 검증을 마쳤으며, NCCL 테스트를 통해 클러스터 네트워크가 정상 작동하는지 확인할 수 있습니다. 또한 aiperf 도구를 이용해 첫 토큰 생성 시간(TTFT)과 토큰 간 지연 시간(ITL) 같은 핵심 지표를 측정함으로써 최적의 용량 계획을 세울 수 있습니다.
이번에 공개된 레퍼런스 아키텍처와 자동화 도구들은 국내 개발자들이 최신 멀티모달 모델을 자체 인프라에 빠르게 도입하는 데 실질적인 길잡이가 될 것입니다. 복잡한 환경 설정과 성능 최적화 과정을 체계적으로 거칠 수 있는 만큼, 에이전틱 AI 도입을 고민하는 개발팀이라면 관련 프로젝트를 참고하여 직접 적용해 볼 수 있습니다.
원문: AWS — Accelerate agentic AI with NVIDIA Nemotron models on Amazon EKS and SageMaker HyperPod EKS