아마존 세이프메이커, GPU 파티셔닝 기술 도입
한국 독자에게 왜 중요할까?
AWS가 하드웨어 격리 기반의 GPU 파티셔닝 기술을 추론 서비스에 도입하여, 기업들이 대규모 AI 모델을 보다 경제적이고 효율적으로 운영할 수 있게 되었다.
아마존웹서비스(AWS)가 인공지능(AI) 추론 서비스 운영의 효율성을 높이기 위해 아마존 세이프메이커 인퍼런스(Amazon SageMaker Inference)에 GPU 파티셔닝 기능을 도입했습니다. 그동안 AI 모델을 GPU(그래픽 처리 장치) 엔드포인트에 배포할 때는 최소한 하나의 온전한 가속기를 할당해야 하는 제약이 있었습니다. 이로 인해 모델의 실제 크기보다 큰 GPU를 할당하게 되어 불필요한 비용을 지불하거나 성능 활용에 한계를 겪는 경우가 많았습니다.
새롭게 도입된 GPU 파티셔닝 기술은 엔비디아의 멀티 인스턴스 GPU(MIG) 기술을 활용합니다. 하나의 물리적 GPU를 독립된 여러 개의 파티션으로 나누어 각각의 파티션에 고정된 연산 자원과 전용 메모리를 할당하는 방식입니다. 특히 이러한 격리가 소프트웨어가 아닌 하드웨어 수준에서 이루어지기 때문에, 여러 모델이 하나의 GPU를 안전하게 나누어 쓰면서도 성능 간섭을 최소화할 수 있게 됩니다.
기업들은 이 기능을 통해 보유 중인 GPU 개수보다 더 많은 모델을 엔드포인트에 배치할 수 있습니다. 예를 들어 대규모 인스턴스에 탑재된 고성능 GPU를 용도에 맞게 쪼개어 서로 다른 모델들을 각각 할당하는 식입니다. 이를 통해 자원 낭비를 줄이고 트래픽과 모델 크기에 최적화된 컴퓨팅 자원을 선택할 수 있어 비용 부담을 크게 덜어낼 수 있습니다.
과거에는 하드웨어 격리를 이용하려면 사용자가 직접 쿠버네티스(Kubernetes) 환경을 구축하고 드라이버 버전이나 파티션 설정을 관리해야 하는 번거로움이 있었습니다. 하지만 이번 업데이트를 통해 세이프메이커가 이러한 복잡한 플랫폼 관리 과정을 대신 처리해 주므로, 사용자는 관리형 엔드포인트 환경에서 손쉽게 GPU 파티셔닝의 혜택을 누릴 수 있게 되었습니다.
세세한 적용 방식도 기존 API 구조를 크게 벗어나지 않습니다. 엔드포인트 설정 과정에서 가속기를 어떻게 나눌 것인지 지정하고, 각 모델을 구동할 때 필요한 파티션 유형을 선택하는 방식으로 작동합니다. 단일 모델 엔드포인트나 서버리스 환경 등 일부 예외를 제외하고, 여러 모델을 하나의 엔드포인트에 배포하는 추론 컴포넌트 환경에서 유연하게 활용할 수 있습니다.
세일즈포스(Salesforce) 등 주요 고객사도 초기 요구사항 정의와 검증 과정에 참여해 이 기술의 효용성을 확인했습니다. 세일즈포스의 리처드 창 엔지니어링 아키텍트는 엔비디아 MIG가 제공하는 격리 기능과 자원 최적화에 대해 언급하며, 많은 추론 워크로드에서 온전한 GPU가 필요하지 않은 만큼 이 기능이 엔터프라이즈 고객에게 큰 기술적·사업적 가치를 전달할 것이라고 평가했습니다.
이번 기능 도입으로 기업들은 대규모 AI 서비스를 구축할 때 과도한 인프라 비용을 지불해야 했던 고민을 덜 수 있게 되었습니다. AWS는 복잡한 인프라 직접 구축 없이도 고성능 GPU를 안전하고 유연하게 쪼개 쓸 수 있는 길을 열어주며, AI 운영 효율성의 새로운 기준을 제시하고 있습니다.