SNOW의 Automatic Sharding 도입기

네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2026(5월)에서 발표되었던 세션을 공개합니다.

영상 보기

발표 내용

수천 개의 서비스가 한정된 GPU 자원을 효율적으로 공유할 수 있도록 돕는 Automatic Sharding 기술을 소개하고, 모델 로딩 오버헤드를 제거하여 더 빠르고 안정적인 AI 모델 서빙 전략을 공유합니다.

발표 대상

다수의 AI 모델을 GPU 환경에서 운영하면서 운영 자동화를 고민하시는 분들

목차

1. SNOW AI 콘텐츠 서빙 구조와 Sharding 개념
2. Manual Sharding의 한계
3. Automatic Sharding 문제 정의
4. Automatic Sharding 알고리즘 설계
5. Automatic Sharding 결과를 실제 인프라에 자동으로 반영하는 방법
6. 안정적인 배포 전략
7. 도입 결과 ( English Version : https://tv.naver.com/v/101705128 )

◎ NAVER Engineering Day란?

NAVER에서는 사내 개발 경험과 기술 트렌드를 교류를 할 수 있는 프로그램이 많이 있습니다. 그중 이제는 매회 평균 100개 이상의 발표가 이루어지는 NAVER Engineering Day를 빼놓을 수 없는데요.

2016년부터 시작된 ENGINEERING DAY는 실무에서의 기술 개발 경험과 새로운 기술과 플랫폼 도입 시 유용하게 활용될 수 있는 팁 등을 공유하며 서로 배우고 성장하는 네이버의 대표적인 사내 개발자 행사입니다.(관련 포스팅 보기)

올해 진행된 NAVER Engineering Day의 일부 세션을 공개합니다.