2025년 AWS의 프리퀄 : AWS re:Invent 2024 Keynote로 바라본 핵심 인사이트 정리

안녕하세요. 여기어때컴퍼니 SRE팀에서 클라우드 엔지니어링 업무를 하고 있는 제이슨 입니다. 회사를 대표하여 이번 AWS re:Invent 2024에 참가 하였고, 참가 기간 동안 보고, 듣고, 느꼈던 점을 회고해 보겠습니다.

글로벌 최대 규모의 클라우드 컨퍼런스인 AWS re:Invent 2024의 하이라이트 였던 AWS CEO Matt Garman이 발표한 Keynote와 여전히 업계에 관심이 많은 AWS의 생성형 AI Bedrock 적용 사례에 대해서 정리해 보겠습니다. 이번 AWS re:Invent 2024에서 발표된 New Feature를 요약해 보자면 아래와 같이 크게 4개의 카테고리로 분류 할 수 있습니다.

이어서 AWS CEO Matt Garman가 발표한 Keynote 중에서 주요 핵심적인 부분에 대해서 자세히 다뤄보겠습니다.

1. AWS CEO Keynote

AWS CEO Matt Garman의 등장으로 Keynote가 시작합니다. AWS CEO Keynote는 향후 AWS의 방향성을 가늠할 수 있는데 작년과 마찬가지로 올해도 역시 핵심은 AI였습니다. AWS는 AI 워크로드에 최적화된 클라우드 환경과 고객 중심의 생성형 AI 제공에 온 힘을 다하고 있다고 Matt Garman는 강조 했습니다.

1) Compute

EC2 인스턴스는 850개의 다향한 인스턴스 타입을 제공하고 있으며 x86, AMD, NVIDIA 등 최신 기술을 지원하고 AWS의 독점적인 Nitro 시스템을 통해 향상된 보안과 성능을 제공 합니다.

• 새로운 Gravition 프로세스인 Gravition 4 프로세스의 출시로 x86 대비 40%, 기존 Gravition 3 대비 30%의 성능 향상
• 머신 러닝과 그래픽 워크로드에 최적화된 NVIDIA의 최신 GPU로 구동되는 P6 인스턴스 공개
• ML 학습과 추론을 위한 가장 강력한 AWS의 독자 AI 칩인 Trainium도 2세대가 출시 되면서 현 세대 대비 2.5배 성능 향상
• 뉴런링크(NeuronLink)를 이용해서 Trainium 2 칩 16개을 연결하여 20.8 PetaFlops(1 PetaFlops = 1초당 1,000조번의 수학 연산처리) 성능을 제공
• Preview 제공하는 UltraServer는 Trainium 2 뉴런링크(NeuronLink)를 이용해서 최대 64개를 연결해서 83.2 PetaFlops(1 PetaFlops = 1초당 1,000조번의 수학 연산처리) 성능을 제공
• Trainium 3세대 곧 공개 예정

최근 오픈AI+마이크로소프트(Azure) 연합의 대행마라고 할 수 있는 클로드 AI를 운영하는 앤트로픽에 AWS가 40억 달러(총 투자액 80억달러)를 투자하기로 했죠 앤트로픽도 머신 러닝과 추론 개발, 최적화에 Trainium 2를 사용하여 별다른 조치 없이 60%의 성능 향상이 있었다고 합니다.

[AWS re:Invent EC2 Keynote 발표]

2) Storage

AWS의 스토리지인 S3는 4000조개 이상의 오브젝트 데이터를 저장하는 시대가 되었습니다.

• 데이터가 늘어남에 따라 비용이 증가 하였고 S3 수명 주기를 사용하여 S3 Standard에서 S3 Intelligent-Tiering으로 데이터 전환하여 기업들은 4억 달러 이상의 비용 절감
• AWS는 Apache Iceberg가 포함된 Amazon S3 Table Bucket을 출시
  • Apache Iceberg로 인해서 쿼리는 3배, 초당 트랜잭션을 10배 향상
• Amazon S3에서 이제 자동화된 Metadata 관리가 가능한 Amazon S3 Metadata가 Preview 출시
  • S3에 객체를 오브젝트에 대한 Size, Timestamp 등 이제 S2에서 자동화된 관리를 통해서 실시간 업데이트와 쿼리 지원으로 기업의 생산성 향상

저도 S3에 ELB나 WAF 로그를 저장하고 Athena Table 생성해서 조회를 하면 Timeoute 빈번해서 파티셔닝을 해도 사용하기 힘들었는데 향후 서울 리전에 출시 되면 유용할 것 같습니다.

* Apache Iceberg : 100% 오픈 소스 분산형 데이터 테이블 형식으로서 구조적 쿼리 언어(SQL) 형식으로 데이터 레이크에 저장된 대규모 데이터 세트의 데이터 처리

[AWS re:Invent Storage Keynote 발표]

3) Database

MySQL Full 지원과 PostgreSQL 호환성을 가지고 있는 Amazon의 관계형 데이터베이스인 Amazon Aurora가 출시 10년이 되었습니다.

• AWS의 완전 분산 데이터베이스인 Amazon Aurora DSQL Preview 출시
  • 멀티 리전의 상황에서 시간에 대한 일관성과 레이턴시(Latency 지연)로 인해서 리전 마다 추가 비용을 들여서 AWS 환경을 구축하는 이슈 해결
  • AWS에서 자체 구축한 위성을 통한 시간 일관성과 낮은 레이턴시를 통해서 이제 멀티 리전에서 Amazon Aurora를 구축 가능
• 무한 확장성 제공
  • 읽기, 쓰기, 컴퓨팅, 스토리지를 독립적으로 확장 가능
• 액티브-액티브 분산 구성
  • 단일 리전 99.99%, 멀티 리전 99.999% 구성시 가용성 제공

GCP(Google Cloud Platform)의 경우 현재 VPC 단위부터 멀티 리전을 지원하고 있는데 비슷한 개념 같습니다.

[AWS re:Invent Database Keynote 발표]

4) 기타

• Amazon CEO Andy Jassy가 발표한 생성형 AI인 Amazon Nova 발표
  • 타사 서비스인 ChatGPT 4 Go 대비 저렴하고 성능이 좋음
  • 텍스트, 이미지, 비디오 등 다양한 컨텐츠에 대해서 생성 가능하고 추론까지 가능한 Amazon Nova Micro, Lite, Pro 모델 출시
  • 최첨단 이미지를 생성 가능한 Amazon Nova Canvas와 최첨단 비디오 생성 모델 Amazon Nova Reel 출시
  • Speech-to-Speech, Any-to-Any 모델은 출시 예정
• Amazon Q Developer를 이용한 코드 리뷰, 코드 문서 자동화
• GitLab과 파트너십을 이용해서 Amazon Q Developer가 기능 통합
  • VS Code, Slack, AWS Console, Visual Studio, Intellij 등에서도 Amazon Q Developer를 사용 가능
  • .NET Application을 Windows에서 Linux로 빠르게 Migration이 가능
• Amazon Bedrock에 대한 업데이트가 있고 Model Distillation 기능이 추가되어 성능은 500% 향상되고 비용은 75% 절감

[AWS re:Invent Keynote 발표]

2. AWS의 생성형 AI Bedrock

Amazon Bedrock은 23년 10월 출시 되었고 서울 리전에는 24년 10월 출시된 완전 관리형 생성형 AI 플랫폼 입니다.

1) AWS Bedrock 개념

• AWS가 제공하는 Bedrock은 개발자와 기업이 대규모 언어 모델(LLM)을 쉽게 구축하고 배포할 수 있도록 지원하는 플랫폼
• AI21 Labs, Anthropic, Cohere, Meta, Mistral AI, Stability AI 및 Amazon 등 여러 기업의 기반 모델을 활용 가능
• 단일 API를 통해 다양한 AI 모델에 접근할 수 있어 개발 효율성이 높음

2) AWS Bedrock 주요 활용분야

• 텍스트 생성 및 분석
• 이미지 생성
• 코드 개발 지원
• 챗봇 구현
• 문서 요약 및 번역

3) AWS Bedrock Architecture

• AWS Bedrock에서 내세우는 장점이 빠르게 어렵지 않게 구성 가능

4) Amazon Bedrock 활용 사례

[AWS re:Invent Amazon Bedrock 활용 사례 발표]

3. 마무리

AWS re:Invent 2024를 한마디로 정리 하자면 GenAI 입니다. AWS도 Trainium 2, P6 인스턴스와 Amazon Q Developer, Amzon Nova, Amazon Bedrock 등 AI를 위주로 Keynote나 Session이 많이 진행 되었습니다. 작년부터 시작해서 AI의 물결은 점점 더 크게 다가오고 있고 사람이 AI를 어떻게 잘 활용 하느냐가 중요한 시점이 된 것 같습니다.

개인적으로 이전에는 AWS re:Invent나 AWS Summit Seoul 등에서 다루는 주제들은 다른 세상의 이야기라고 생각 했었는데 클라우드 엔지니어 입장에서 이번 AWS re:Invent 참석을 계기로 클라우드를 바라보는 시야가 조금은 넓어진 것 같습니다. 작성된 내용이 자의적인 해석이 포함되어 있을 수 있겠지만 가볍게 읽어 주시고 내년 2025년에는 AWS가 지향하는 부분이 이렇구나 하고 봐주셨으면 합니다.

이상으로 AWS re:Invent 2024 Keynote 중심으로 바라본 핵심 인사이트에 대해서 마무리 하겠습니다.