NVIDIA의 Vera Rubin에 대한 이런저런 이야기
안녕하세요, 이스파이스 기술 연구소입니다.
NVIDIA의 Blackwell 이후에 차세대 GPU에 대한 관심도 부쩍 많아졌지요. 알려진 바로는 Vera Rubin이란 이름으로 제품이 나온다는데, 이게 정보가 많지 않다 보니 혼란스러운 부분도 좀 있어 보입니다.
지금 NVIDIA의 Vera Rubin 소개 페이지 링크는 다음과 같습니다.
https://www.nvidia.com/ko-kr/data-center/technologies/rubin/
NVIDIA Vera Rubin: 에이전틱 AI 시대를 선도하다
지능형 에이전틱 AI 시스템을 지원합니다.
www.nvidia.com
이 소개 페이지의 개요만 보면 좀 혼란스럽습니다.
5개의 랙이 하나의 단위인 것처럼 읽힐 수 있고, 뭔가 구성이 쉽지 않겠다 싶어 보입니다. 예전에 NVIDIA에서 GPU 유닛을 1024 단위 (사실 1016 GPU 단위)로 SU(Scalable Unit)이라 부르던 거랑 비슷한 건가? 이어지는 다섯가지 구성요소가 있던데, 이 구성 요소를 다 하나씩 넣어야 하는 건가? 뭔가 어려워 보입니다.
이를 나름의 이해와 경험을 바탕으로 차근차근 풀어서 설명해 보겠습니다.
💡 Vera Rubin의 이름 풀이
일단 Vera Rubin 아키텍처 이름부터 풀어 보겠습니다.
NVIDIA의 프로젝트 명은 역대 물리학자의 이름을 따오고 있습니다. Vera Rubin 역시 저명한 여성 천체 물리학자의 이름이라고 합니다.
NVIDIA가 지금 GPU 뿐만 아니라 CPU도 하고 있는 건 아시지요? Vera Rubin은 차세대 GPU의 이름이 아닙니다. 차세대 GPU 프로젝트명이 Rubin이고, 차세대 CPU 프로젝트 명이 Vera인 겁니다. 그러니까, 다음과 같이 되는 거지요.
- Grace CPU ➡️ Vera CPU
- Blackwell GPU ➡️ Rubin GPU
Vera Rubin이란 제품은 지금 세대의 Grace Blackwell (혹은 그 이전의 Grace Hopper)의 차세대 CPU + GPU 조합 명칭인 셈입니다.
🛠️ Vera Rubun 시스템의 구성 요소
이 정도의 최소한의 지식만 알고 있어도 다음 5개의 Vera Rubin 시스템 구성요소가 한결 가깝게 다가옵니다.
- NVIDIA Vera Rubin NVL72
- NVIDIA Vera CPU
- NVIDIA Groq 3 LPX
- NVIDIA Vera BlueField-4 STX
- NVIDIA Spectrum-6 SPX 이더넷
아, 아직 어렵나요?
각 구성요소의 NVIDIA측의 간단한 소개를 곁들여서 설명을 이어가 보겠습니다.
| NVIDIA Vera Rubin NVL72 NVIDIA Vera Rubin NVL72는 72개의 Rubin GPU, 36개의 Vera CPU, ConnectX™-9 SuperNIC™ 및 BlueField™-4 DPU와 같은 NVIDIA의 최첨단 기술을 통합합니다. NVIDIA NVLink™ 6 스위치를 기반으로 한 3세대 랙 스케일 플랫폼에서 AI 성능을 확장하고, NVIDIA Quantum-X800 InfiniBand 및 Spectrum-X™ Ethernet을 통해 확장성을 높여 대규모 AI 산업 혁신을 지원합니다. Vera Rubin NVL72는 NVFP4 추론 성능을 높이기 위한 적응형 압축을 갖춘 새로운 트랜스포머 엔진, 전체 랙 스케일 플랫폼 전반에 걸쳐 보안을 확장하는 3세대 NVIDIA 컨피덴셜 컴퓨팅, 그리고 랙 스케일 탄력성을 제공하는 2세대 RAS 엔진을 특징으로 합니다. |
| NVIDIA Vera CPU NVIDIA Vera CPU 랙은 강화 학습 및 대규모 에이전틱 AI를 위해 특별히 설계된 고밀도 수냉각 CPU 인프라를 제공합니다. NVIDIA MGX™ 모듈형 레퍼런스 아키텍처를 기반으로 구축된 각 랙은 256개의 NVIDIA Vera CPU를 통합하고 22,500개 이상의 동시 샌드박스 환경을 지원하며, AI 팩토리에 도구 호출, 평가, 데이터 처리 및 오케스트레이션을 위한 확장 가능하고 에너지 효율적인 CPU 용량을 제공합니다. |
| NVIDIA Groq 3 LPX NVIDIA Groq 3 LPX는 NVIDIA Vera Rubin을 위한 추론 가속기로, 에이전틱 시스템의 저지연 및 대규모 컨텍스트 요구 사항을 충족하도록 설계되었습니다. 고대역폭 메모리(HBM)를 위한 Rubin GPU와 정적 랜덤 액세스 메모리(SRAM)를 위한 LPU를 결합함으로써, LPX와 함께 NVIDIA Vera Rubin은 1조 매개변수 모델과 100만 개의 토큰을 가진 컨텍스트를 위한 새로운 수준의 추론 성능을 제공합니다. |
| NVIDIA Vera BlueField-4 STX NVIDIA Vera BlueField-4 STX는 랙 스케일 AI 네이티브 스토리지 솔루션을 위한 모듈형 기반입니다. NVIDIA Vera Rubin, BlueField-4 STX 스토리지 프로세서, Spectrum-X 네트워킹, NVIDIA AI 소프트웨어를 통합함으로써 데이터 분석부터 모델 학습 및 대규모 전체 에이전틱 AI 워크플로우에 이르기까지 전체 데이터 라이프사이클을 최적화합니다. |
| NVIDIA Spectrum-6 SPX 이더넷 Spectrum-6 SPX 이더넷은 AI 팩토리 전반에서 네트워킹을 가속화하도록 설계되었습니다. NVIDIA Spectrum-X™ 이더넷 또는 NVIDIA Quantum-X800 InfiniBand 스위치로 구성할 수 있으며, 대규모 환경에서 저지연 시간과 고처리량의 랙-투-랙 연결을 제공합니다. |
NVIDIA의 이 설명들까지 보고 있으면 조~~금 더 쉽게 다가옵니다. 아, 아직 아닌가요? 😐
이 다섯 가지 구성요소는 AI 연산에 필요한 하드웨어 빌딩 블록인 겁니다. 이를 NVIDIA의 제품명으로 이름을 만든 것이고요. 이게 전부 필요한 게 아니고, 이 구성 요소들을 사용자의 필요에 따라 조합을 하라는 NVIDIA의 AI 하드웨어 구성 가이드인 셈입니다.
다시 다섯 가지 구성 요소를 기능 별로 정리하자면 다음과 같습니다.
| 구성 요소 | 간단한 역할 |
| NVIDIA Vera Rubin NVL72 | 핵심 AI 연산 노드 (모델 훈련 및 기본 추론) |
| NVIDIA Vera CPU | 대규모 시뮬레이션 및 에이전트 제어용 CPU 연산 노드 |
| NVIDIA Groq 3 LPX | Rubin GPU + Groq LPU(SRAM) 기반의 초고속 추론 가속 노드 |
| NVIDIA Vera BlueField-4 STX | Vera CPU + BlueField-4 DPU 기반의 AI 스토리지 노드 |
| NVIDIA Spectrum-6 SPX 이더넷 | ConnectX-9 SuperNIC 기반의 800G InfiniBand/Ethernet 백본 네트워크 인프라 |
🔍 구성요소 하나씩 자세히 풀어보기
다섯 가지의 주요 구성요소를 좀 더 자세히 들여다 보겠습니다.
1. NVIDIA Vera Rubin NVL72
우리 나라에서는 일반 랙서버 타입의 GPU 서버가 메인이어서 NVIDIA의 주력 GPU 서버를 DGX로 알고들 계실 수도 있겠습니다. 하지만, NVIDIA가 진짜로 밀고 있는 GPU 서버는 DGX 시리즈가 아닌 NVL72입니다.
DGX는 기존 전산 환경에 호환되게 만든 서버고요, NVL72는 전통적인 전산 환경의 한계를 극복하고자 십 수년 전부터 논의되고 있는 OCP (Open Compute Project) 기반의 새로운 서버 플랫폼입니다.
DGX 타입의 GPU 서버는 랙마운트 타입 서버에 GPU를 몰아넣고, 기존 19인치 전산실 랙(폭 600mm)에 넣으려다 보니 전력, 냉각, 네트워킹 모두 따로 구성하느라 골치가 아픈 것이 현실입니다. 저희도 꽤나 많은 경험을 많이 했습니다. 😊
OCP랙은 랙 하나에 전력, 냉각, 네트워크 인프라를 기본적으로 몰아넣은 통합형 구조를 지향합니다. 그리고 24인치 랙(폭 750mm)에 더 넓은 서버 유닛을 랙에 꼽는 동시에 전력과 수냉 관련한 커넥터가 자동으로 체결됩니다. 구성하기에 따라 네트워크와 관리 포트까지 자동으로 연결되게 할 수도 있습니다.
좀 더 풀어보면, 전력은 랙 자체에 PDU 역할을 하는 유닛이 용량에 맞게 꼽히고 이 PDU는 48V DC 전기를 서버에 공급하도록 버스바(Busbar)로 연결됩니다. 또한, 지금 수냉 시스템의 매니폴드(manifold, 냉각수 버전의 PDU라 이해하시면 쉬울 듯)에 해당하는 부분도 현재의 수직형 PDU처럼 OCP랙 뒤에 장착되어 노드가 장착되면 별도의 수냉 호스 연결 없이 퀵 커넥트됩니다.
이제 다시 NVL72로 돌아가 봅니다. NVL72는 이미 NVIDIA가 Hopper 아키텍처 시절부터 홍보해온 시스템입니다. 그 때만 해도 일반 8-GPU 서버도 공냉으로 어느 정도 쿨링할 만했기에 이 플랫폼이 그닥 인기가 없었습니다.
그런데, Blackwell이 되면서 GPU 온도가 확~ 올라가면서, 수냉에 대한 수요가 늘어났지요. GB200 NVL72는 이전 세대보다 꽤나 잘 팔린 것으로 알고 있습니다. 이전 세대에서는 관심없던 탑티어 제조사들도 GB200/GB300 NVL72부터는 라인업을 하고 있지요.
여기서 제조사들의 주도권이 NVIDIA로 대거 넘어갑니다. 예전에는 핵심 GPU 보드(HGX)만 NVIDIA에서 사고 CPU 메인보드는 제조사들이 인텔/AMD 기반으로 직접 설계해 넣었습니다. 하지만 NVL72는 CPU+GPU가 아예 합쳐진 'Superchip 메인보드' 자체를 NVIDIA가 통째로 직접 만들어 제공합니다. 제조사들은 그냥 NVIDIA가 주는 대로 껍데기(섀시)만 설계해 배치하는 느낌이 강해졌습니다. 물론, 그 외적으로 할 게 많기는 하지만, 시스템 전체에 NVIDIA 비중이 확 늘어납니다.
여기에 NVIDIA가 NVL72를 다음 세대에서 더 밀어 부치는 이유가 또 있습니다. PCIe Gen6 때문입니다.
Blackwell GPU는 PCIe Gen5급입니다. 이에 매칭되는 InfiniBand 네트워크는 NDR, 즉 400G입니다. PCIe Gen5 16배속의 최대 속도가 400G가 살짝 넘는 정도여서 그렇습니다.
그런데, 갈수록 다른 노드와 묶어서 연산을 처리하는 클러스터 환경에서 고속 네트워크의 비중은 이전보다 훨씬 커지고 있습니다. 그런데, CPU 안에 들어있는 PCIe 컨트롤러가 발목을 잡고 있습니다. PCIe 자체도 굉장히 빠른 인터페이스인데, 이게 6세대가 되면서 5세대의 2배가 되면, 이게 PCIe 슬롯을 통한 카드 설계 및 케이블로 외부와 연결되는 것에 엄청난 기술적 난관이 있는 겁니다.
그러다 보니, NVIDIA가 답답한 거죠. 자기네는 800G를 써야 하는데, 이게 인텔 및 AMD CPU 때문에 안 되니까요. 그래서, GB300부터는 아예 GPU 모듈에 800G 네트워크, ConnectX-8을 내장해 버렸습니다. 어차피 800G 스위치는 진작에 만들어 놨거든요.
Vera Rubin NVL72의 Vera CPU는 자기네들이 인텔이나 AMD처럼 범용성 안 따지고, Rubin GPU과 자기네 주변 기기(Bluefield 등)만 지원하는 정도로 해서 PCIe G6를 넣어버린 겁니다. 그러니, “최신 기술을 쓰려면 우리 Vera Rubin NVL72로 구성해라”라는 명분이 더 확실하게 생긴 거죠.
이 OCP 랙 안에 우리가 Leaf switch라고 부르는 서버에 직접 연결되는 고속 네트워크의 L1 스위치들도 들어가는 겁니다.
거기에 NVL72로 구성된 여러 GPU 서버들은 NVLINK로도 연결되는 것으로 알려져 있습니다. 어마어마하죠. 지금 XE9680(L), XE9780 등과 같은 8-GPU 플랫폼으로 구성하는 것보다 더 빵빵한 최상위 GPU 서버가 NVL72 랙 안에서 다 이루어지는 것입니다.
2. NVIDIA Vera CPU
우리가 AI 연산을 한다고 해서, 모두 GPU만 쓰지 않습니다. 기존 데이터를 GPU 연산을 하기 위해서는 데이터를 전처리하는 과정이 있는데, 이 부분은 철저히 CPU와 메모리 영역입니다.
Apache Spark라는 서비스가 빅데이터와 AI 쪽의 대표적인 전처리 영역이고, 이는 매우 하드코어한 CPU와 메모리 연산이라고 합니다. 이 부분을 빠르게 처리해야 다음 단계인 GPU가 바로 이어서 일을 할 수 있으니까요. 또, 컨테이너 기반의 서비스를 관리할 서버들 역시 CPU 기반이기도 하고요.
또, 요새 엄청 뜨고 있는 Agentic AI라는 것도 일은 GPU가 하겠지만, 일을 시키는 사람 역할을 하는 agent는 CPU의 영역이기 때문에 막강한 CPU 수요도 있는 것이고요.
이 부분을 자기네 Vera CPU로 구성하도록 빌딩 블록의 하나로 제시한 겁니다.
인텔이나 AMD의 CPU는 아무래도 범용성을 최우선으로 하다보니, 이런 특성에 살짝 아쉬움이 없지는 않을 겁니다. 이 부분에 대해 AI에 더 포커스한 Vera CPU가 제격이라는 것이지요.
3. NVIDIA Groq 3 LPX ➡️ Rubin GPU + Groq LPU(SRAM)
Hopper 아키텍처에서 Blackwell 아키텍처로 넘어가면서 AI 연산 능력이 확연히 높아졌습니다. 그런데, 전통적인 과학 계산의 성능을 좌우하는 FP64 연산부의 성능은 오히려 낮아졌습니다.
뭘 하든 AI가 관여하는 요즘 세상에서, 특히나 추론 연산이 엄청 많아지고 있지요. 추론이라는 서비스는 우리가 뭔가 물어보면 바로바로 대답이 튀어나오길 기대하지요. 그래서, 큰 추론 서비스를 위한 대형 시스템에서는 낮은 지연시간의 고속 네트워크가 필요해지게 됩니다.
그럼에도 GPU가 더 빠르게 대응하려면 GPU 코어와 GPU 메모리 간의 속도 역시 더 빨라져야 합니다. 지금도 최상위급 GPU는 HBM(High Bandwidth Memory)이라 해서 GPU 칩에 올라가는 엄청 빠른 메모리를 사용하고 있습니다. 그런데, 이게 과장 좀 보태서 좀 빠른 메모리 칩을 GPU 칩 옆에 바짝 붙여 놓은 정도의 연결인 겁니다.
그럼 더 빠른 메모리가 있냐? 있지요. CPU 옆에 딱 붙어 연산 중에 진짜 자주 쓰는 것들을 올려놓고 자주 호출해 쓰는 용도인 캐시로 사용되는 SRAM이란 겁니다. 이건 정말 빠르겠지요? 이걸 AI 연산 코어에 넣어서 메모리 액세스 속도를 극대화한 것이 Groq사의 LPU (Language Processing Unit)이란 새로운 연산 코어입니다.
혹시 이 SRAM 기반의 AI 칩이 익숙하신가요? 한 4년쯤 전에 우리 나라에서도 소개되어 반응이 괜찮았던, 영국의 Graphcore 사의 IPU 아키텍처가 SRAM 기반으로 해서 속도가 엄청 빠르다고 했었습니다. 그 개념의 제품을 NVIDIA가 흡수한 것으로 보입니다. Graphcore는 SRAM 기반의 아키텍처만 있어서 사용자 영역에서부터 IPU까지 데이터를 넘기는 과정에서 병목이 될 수 있는데, NVIDIA는 그 중간 단계의 아키텍처들을 다 갖고 있으니, 이걸 조합해서 “Groq 3 LPX”라는 단계별 시스템을 구현한 것으로 이해됩니다.
4. NVIDIA Vera BlueField-4 STX ➡️ Vera CPU + BlueField-4 DPU 기반의 AI 네이티브 스토리지 노드
AI 연산을 위한 하드웨어를 위한 구성 요소를 다음과 같이 크게 세 가지로 보기도 합니다.
이 구성 요소를 봤을 때, Compute(GPU)와 네트워크(InfiniBand)는 NVIDIA가 꽉 잡고 있죠. 그런데, 스토리지 영역이 NVIDIA가 지금 없는 유일한 영역입니다.
NVIDIA가 InfiniBand의 Mellanox를 흡수하면서 RDMA 기능을 자기네 버전으로 만든 것이 GPU Direct라는 용어입니다. 사실 흡수 이전에 Mellanox와 이 개념을 만들어 둔 거긴 합니다. 컴퓨터라는 것이 뭔가 일을 하려면 CPU와 시스템 메모리를 거쳐야 하는 건데, RDMA라는 기술을 통해 GPU가 다른 GPU 혹은 PCIe 장치를 액세스하는 시간을 지연시간을 드라마틱하게 줄이는 기술입니다.
이 개념이 스토리지로 확장되면서, GPU가 PCIe 기반의 NVMe SSD 또는 고속 네트워크 어댑터를 통해 외부 NVMe 기반의 스토리지를 RDMA 기법으로 접근하는 기법을 GPU Direct Storage (이하 GDS)라고 합니다.
이 기술을 쓰기 위해서는 외부 스토리지가 고속 네트워크 어댑터를 탑재하고 있으면서, RDMA를 지원해야겠지요. 당연히 전통적인 스토리지들은 쉽지 않은 영역입니다. 여기서 서버 기반의 Software-Defined Storage (이하 SDS) 솔루션들이 그 자리를 담당하게 됩니다. 오래된 오픈 소스 Lustre, IBM의 Storage Scale (기존의 Spectrum Scale, GPFS) 등도 GDS를 지원하게 업그레이드되었고, 최근에 AI 스토리지로 세를 키우고 있는 WekaIO나 VAST 등이 모두 이 GDS를 지원하는 SDS인 겁니다. 물로 저희가 취급하는 BeeGFS도 GDS를 지원합니다.
이 GDS를 NVIDIA가 자기네 솔루션의 하나로 흡수하겠다는 것이 이 네 번째 영역입니다.
이미 GDS를 지원하기 위해 대부분의 SDS 솔루션들이 x86 계열의 서버에 NVIDIA의 고속 네트워크인 ConnectX 계열로 네트워크로 구성을 기본으로 하고 있습니다. 그런데, NVIDIA는 거기에 한술 더 떠서 Vera 프로세서와 고속 네트워크를 좀 더 강조한 Bluefield 제품군을 탑재하라고 강제하는 느낌입니다.
이를 위해서는 Vera 프로세서를 탑재한 스토리지 서버가 어디선가 나와야겠죠? 인텔과 AMD의 눈치도 봐야 하는 Dell, HPE, Lenovo 등의 탑티어급 제조사들보다는 Supermicro나 Gigabyte, AIC, Celestica 같은 회사들이 하드웨어를 만들 것 같습니다. IBM의 Storage Scale은 이런 회사 제품 하나를 OEM해서 라인업할 수도 있을 것 같고요. 올 가을 미국에서 열리는 SC (Supercomputing Conference)에 가면 이런 하드웨어가 나와 있을 것 같습니다.
5. NVIDIA Spectrum-6 SPX 이더넷 ➡️ ConnectX-9 SuperNIC 기반의 800G InfiniBand/Ethernet 백본 네트워크 인프라
앞서 언급한 네 가지 인프라(GPU 연산 랙, Vera CPU 랙, Groq 추론 랙, STX 스토리지 랙)가 원하는 수준의 데이터 이동을 위해서는 고속 네트워크를 필요로 합니다. NVIDIA의 메시지는 간단 명료하죠. ‘이 모든 구성 요소는 ConnectX-9 기반의 800G 네트워크로 해야 한다.’라는 겁니다.
범용성이 강조된 기존 하드웨어에서는 해결하지 못하고 있는 부분들을 자기네가 다 해결한 Vera CPU, Rubin GPU, Bluefield-4 스토리지 가속기까지 관련 인프라를 다 만들어 놨으니, 고속 네트워크에서 ConnectX-9를 써야 하는 당위성은 다 확보된 셈이죠.
🎯 NVIDIA의 야심?
자, 이렇게 해서 NVIDIA의 Vera Rubin 아키텍처를 구성하는 다섯 개의 빌딩 블록을 훑어봤습니다. 고객의 니즈에 따라 이 빌딩 블록들을 조합하라는 것이 NVIDIA의 메시지인 것입니다. 이런 시도는 사실 NVIDIA가 처음이 아닙니다.
인텔이 십수년 전에 HPC 시장을 이렇게 하고 싶어서, 멀티 코어 가속기인 Xeon Phi도 만들었었고, InfiniBand 제조사였던 Qlogic의 해당 사업부와 Cray의 Aries 네트워크 기술을 인수해서 Omni-Path도 만들었었고, 병렬 파일 시스템인 Lustre를 상용화하는 사업부도 있었습니다. 그런데, 그게 다 재미를 못 봤어요. 그 때 인텔이 실패한 통합 아키텍처를 NVIDIA는 더 막강한 모습으로 재편성하고 있는 중입니다.
🏁 마무리
NVIDIA의 새로운 아키텍처 Vera Rubin에 대한 궁금증이 어느 정도 해소가 되셨나요? 저도 이번에 조사하고 과거의 제 경험들을 되새기며 글을 쓰면서 새로운 기술도 좀 더 이해하게 되어 좋은 시간이었습니다. 이게 Dell, HPE, Lenovo와 같은 대형 제조사들은 받아들이기 쉽지 않은 부분도 많아서, 좀 지켜볼 필요가 있겠습니다.
이 정도로 해서 좀 말이 많은 읽을 거리를 마무리하겠습니다.
긴 글 읽어 주셔서 감사합니다.
(주)이스파이스는 Dell Technologies의 Titanium 파트너로서, HPC/AI에 특화된 제품군과 서비스를 제공하고 있습니다.또한, HPC/AI 연산에 최적화된 병렬 파일 시스템인 BeeGFS의 국내 유일의 파트너로 구축 및 서비스를 제공합니다.관심있으신 분들은 전화 02-573-1484~5 혹은 이메일 espice@espice.co.kr로 연락주시기 바랍니다.