마이크로소프트의 Maia 300, AI 추론 칩 경쟁의 새 국면

Maia 300은 AI 추론을 겨냥해 2027년 배포를 예고한 마이크로소프트의 자체 가속기입니다. 발표 수치의 의미와 검증 과제, Nvidia 의존도 완화의 현실을 살펴봅니다.

AI 서비스의 경쟁력은 모델 성능만으로 결정되지 않습니다. 이용자가 늘고 대화가 길어질수록, 데이터를 얼마나 빠르게 옮기고 전력을 얼마나 효율적으로 쓰는지도 중요해집니다. 마이크로소프트가 새 AI 가속기 Maia 300을 공개하며 강조한 것도 이런 추론 인프라의 효율입니다.

학습보다 추론에 맞춘 칩

마이크로소프트는 10월 12일 공식 블로그에서 Azure Maia 300을 공개하고, Maia 제품군의 대규모 배포를 2027년부터 늘리겠다고 밝혔습니다. Maia 200은 이미 일부 자사 서비스의 운영에 투입됐고, Maia 300은 생산 배포를 2027년에 시작할 계획입니다. 따라서 지금 당장 모든 Azure AI 서비스가 이 칩으로 옮겨간다는 뜻은 아닙니다.

회사는 Maia 300을 긴 문맥, 메모리 사용량이 큰 작업, 여러 단계로 이어지는 AI 에이전트 추론에 맞춰 설계했다고 설명합니다. 칩 하나에 HBM4 메모리 스택 8개를 두고, 초당 18.0테라바이트의 메모리 대역폭을 제공한다는 것이 마이크로소프트의 발표입니다. 이 수치는 회사가 공개한 기술 사양이며, 실제 체감 성능은 모델과 소프트웨어, 데이터센터 구성에 따라 달라질 수 있습니다.

칩 하나가 아니라 랙 전체의 성능

Maia 300 발표에서 눈에 띄는 부분은 가속기 한 개의 사양뿐 아니라 랙과 네트워크를 하나의 시스템으로 묶어 설명한 점입니다. 마이크로소프트는 한 랙에 96개 가속기를 구성하고, 167킬로와트의 전력 범위에서 총 27.6테라바이트의 HBM과 1.7페타바이트/초의 집계 대역폭을 제공한다고 밝혔습니다.

회사는 선도 GPU 기반 시스템과 비교해 전력당 토큰 처리량이 40% 늘어날 것으로 예상하고, Maia 200의 전체 랙 구성과 비교하면 랙 단위 토큰 처리량이 최대 7배라고 설명합니다. 여기서 40%는 마이크로소프트가 선택한 비교 기준에 대한 회사의 예상치이고, 7배는 Maia 200과의 비교입니다. 서로 다른 비교 기준을 하나의 범용 성능 순위처럼 읽어서는 안 됩니다.

Nvidia를 대체한다기보다 선택지를 늘리는 전략

이번 발표는 자체 칩으로 AI 인프라를 직접 최적화하려는 흐름의 일부입니다. 칩과 데이터센터 소프트웨어를 함께 설계하면 특정 추론 작업에서 전력, 메모리, 네트워크의 병목을 줄일 가능성이 있습니다. 대규모 서비스를 운영하는 기업에는 칩 조달처를 다변화하고, 장기적으로 연산 비용과 공급 안정성을 관리하려는 의미도 있습니다.

그렇다고 Maia 300이 Nvidia를 곧바로 대체한다고 볼 수는 없습니다. GeekWire와 CNBC는 Nvidia가 마이크로소프트의 데이터센터와 모델 학습에서 여전히 중요한 공급사라고 전했습니다. CNBC는 Maia 칩이 외부 고객에게 시간 단위로 임대되는 제품도 아니라고 설명합니다. 마이크로소프트 역시 필요한 모델과 작업에 맞춰 Nvidia, AMD, 자체 칩 등 여러 선택지를 병행하고 있습니다.

실제 배포에서 확인할 것

Maia 300은 2027년 생산 배포가 계획된 제품입니다. 지금 공개된 효율과 처리량 수치는 마이크로소프트가 제시한 설계 목표와 비교 결과이므로, 독립적인 실사용 성능으로 확정된 수치와 구분해야 합니다. 실제 현장에서는 모델 크기, 문맥 길이, 동시 요청 수, 냉각과 네트워크 구성에 따라 결과가 달라질 수 있습니다.

AI 인프라 경쟁은 칩의 최고 성능을 비교하는 데서 데이터센터 전체의 효율과 활용률을 따지는 방향으로 옮겨가고 있습니다. Maia 300의 의미도 Nvidia와의 단순한 승패보다, 대규모 AI 서비스를 운영하는 기업이 하드웨어와 소프트웨어를 얼마나 촘촘히 함께 설계할 수 있는지에서 드러날 것입니다.