MTIA 300·400·450·500 순차 배치… 훈련에서 인퍼런스까지 워크로드별로 칩을 나눴다
메타가 MTIA(Meta Training and Inference Accelerator) 로드맵을 공개했다. 2년 안에 MTIA 계열 칩 4종을 투입한다. 커스텀 실리콘 보다 ASIC에 비중을 높이겠다는 것. 메타는 훈련과 생성형 AI 인퍼런스를 분리해 칩을 나눴고, 뒤로 갈수록 인퍼런스 비중을 키우는 모습이다.
먼저, 메타는 세대 전환 속도를 칩렛으로 끌어올렸다. 세대가 바뀔 때 칩 전체를 다시 설계하지 않고, 칩렛을 바꿔 속도를 유지했다. 인프라 재구축 부담도 줄였다. MTIA 300은 랭킹·추천(R&R) 훈련을 맡는다. 스케일아웃 네트워크는 200GB/s다. 칩은 컴퓨트 칩렛 1개와 네트워크 칩렛 2개 조합이다. HBM은 216GB 용량에 6.12TB/s 대역폭이다. 모듈 TDP는 800W다.
MTIA 400은 범용 성격으로 확장했다. FP8 기준 연산은 이전 세대 대비 4배로 늘렸고, HBM 대역폭은 51% 늘렸다. 스케일업 도메인은 72칩이며 스위치드 백플레인으로 연결한다. HBM은 288GB/9.2TB/s다. 모듈 TDP는 1200W다. MTIA 450과 MTIA 500은 생성형 AI 인퍼런스를 맡는다. HBM 대역폭을 MTIA 450에서 18.4TB/s, MTIA 500에서 27.6TB/s까지 올렸다. HBM 용량도 MTIA 500에서 384~512GB로 늘렸다. 모듈 TDP는 1400W와 1700W다. 스케일업 도메인은 72칩을 유지했다. 스케일아웃 네트워크는 100GB/s다.
메타가 공개한 세대별 수치는 아래와 같다.
MTIA 300: TDP 800W, HBM 216GB / 6.1TB/s, 스케일업 16, 스케일아웃 200GB/s
MTIA 400: TDP 1200W, HBM 288GB / 9.2TB/s, 스케일업 72, 스케일아웃 100GB/s
MTIA 450: TDP 1400W, HBM 288GB / 18.4TB/s, 스케일업 72, 스케일아웃 100GB/s
MTIA 500: TDP 1700W, HBM 384~512GB / 27.6TB/s, 스케일업 72, 스케일아웃 100GB/s
연산 성능은 MX4 기준으로 MTIA 400이 12PFLOPs, MTIA 450이 21PFLOPs, MTIA 500이 30PFLOPs다. FP8/MX8 기준은 MTIA 300이 1.2PFLOPs, MTIA 400이 6PFLOPs, MTIA 450이 7PFLOPs, MTIA 500이 10PFLOPs다. BF16 기준은 MTIA 300이 0.6PFLOPs, MTIA 400이 3PFLOPs, MTIA 450이 3.5PFLOPs, MTIA 500이 5PFLOPs다.
메타는 MTIA 300~500을 2026년 또는 2027년까지 배치한다고 밝혔다.
본 콘텐츠는 뉴스픽 파트너스에서 공유된 콘텐츠입니다.