GPU 인스턴스 알아보기

GPU 인스턴스는 인스턴스에 GPU(Graphics Processing Unit)가 추가 구성된 가상서버입니다. 과학적 발견부터 딥러닝에 이르는 다양한 분야에서 사용합니다.

GPGPU 란

• GPGPU (General-Purpose computing on Graphics Processing Units)
• GPU를 CPU가 맡았던 연산에 사용해 연산 속도를 향상시키는 기술입니다.
  • 단순한 것을 빠르게 계산합니다.

CPU와 GPU의 차이

CPU : 다양한 환경의 작업을 처리하기 위해 control unit, cache, ALU(Arithmetic Logic Unit, CPU 산술 논리 연산 장치)의 처리 구조가 복잡

GPU : 특화된 연산만 처리하기 위해 control unit, cache 보다는 다수의 ALU(Arithmetic Logic Unit, CPU 산술 논리 연산 장치)로 구성

[그림 1] GPU는 테이터 처리를 계산하기 위해 더 많은 트랜지스터를 사용

CPU : 각 thread내에서 latency를 최소화

• 모든 thread는 data access time(Waiting for data)를 최소화합니다
• single time slice 동안 가능한 한 많은 work(Processing)을 수행합니다.

GPU : 매 clock cycle 만큼 멈춘 thread에서 다른 thread로 전환

• T1 thread가 data access time(Waiting for data)를 위해 멈췄을 때 다른 T2가 처리하는 방식으로 T3, T4를 사용합니다.
• 그동안 T1은 처리할 data를 가져옵니다.

[그림2] Low latency or high throughput

GPU 제원

TOAST GPU 서비스

GPU 인스턴스 사양

GPU 모델	GPU 수	Core 수	Memory 용량
NVIDIA V100 (NVLink)	1	8 core	90 GB
NVIDIA V100 (NVLink)	2	16 core	180 GB
NVIDIA V100 (NVLink)	4	32 core	360 GB
NVIDIA V100 (NVLink)	8	64 core	720 GB
NVIDIA T4 (PCI)	1	4 core	32 GB
NVIDIA T4 (PCI)	2	8 core	64 GB
NVIDIA T4 (PCI)	4	16 core	128 GB
NVIDIA T4 (PCI)	8	32 core	256 GB
NVIDIA T4 (PCI)	12	64 core	384 GB

• 인스턴스 기본 디스크는 20GB ~ 1000GB 까지 가능합니다.
• GPU는 PCI passthrough 방식으로 할당합니다.

GPU 인스턴스 생성

콘솔에서 Compute > GPU Instance 서비스가 활성화가 되어 있다면 GPU Instance 생성 가능합니다.

• 인스턴스 생성 버튼을 클릭합니다. [그림 3] 인스턴스 생성

• 인스턴스를 생성합니다. [그림 4] 인스턴스 생성 설정

GPU 인스턴스 접속

• 인스턴스 생성이 완료되었다면 접속정보대로 접속합니다. [그림 5] 인스턴스와 접속 정보

GPU 정보 확인

인스턴스에 접속해서 nvidia-smi 명령어 실행후 GPU 정보[그림 6] 확인

shell > nvidia-smi

[그림 6] nvidia-smi 명령어 실행 결과

1. 버전 정보
   • NVIDIA Driver Version : 440.33.01
   • CUDA Version : 10.2
2. GPU 정보
   • 사용가능한 GPU 수 : GPU 0~7 (8개 사용)
   • GPU 모델명 : Tesla V100-SXM2
   • Persistence mode 상태 : Persistence_mode On
   • GPU 현재 온도 : Temp 52C
   • 현재 전력사용량 / 최대 전력사용량 : Pwr Usage/Capacity 298W / 300W
   • 현재 메모리 사용량 / 최대 메모리 사용량 : Memory-Usage 29283MiB / 32480MiB
   • GPU Utilization : GPU-util 100%
3. Processes 정보
   • GPU별 PID, Process name, GPU Memory Usage 정보
   • Type 정보
     • C = compute = CUDA or OpenCL
     • G = graphics = DirectX or OpenGL