Meta AI 연구팀이 GCM을 오픈 소스로 공개하여, 고성능 AI 훈련 및 하드웨어 신뢰성을 보장하기 위해 GPU 클러스터 모니터링을 개선하고 있다. AI 모델이 조파라미터로 확장됨에 따라, 이를 훈련하는 데 필요한 클러스터는 행성상에서 가장 복잡하고 취약한 기계 중 하나로 변화하고 있다.
Microsoft의 Maia 200은 Azure 데이터센터에서 사용되는 새로운 AI 가속기로, 좁은 정밀도 컴퓨팅, 밀도 높은 칩 내 메모리 계층, 이더넷 기반 확장 패브릭을 결합하여 대형 언어 모델 및 추론 워크로드의 토큰 생성 비용을 타겟팅한다. Microsoft이 전용 추론 칩을 만든 이유는 무엇인가?
StreamTensor은 PyTorch LLM 그래프를 AMD의 Alveo U55C FPGA에서 스트림 스케줄된 데이터플로우 가속기로 변환하는 컴파일러이다. 이 시스템은 순환 텐서(“itensor”) 유형을 도입하여 타일/순서를 인코딩한다.
MLPerf 추론은 하드웨어, 런타임 및 서빙 스택으로 구성된 완전한 시스템이 정해진 지연 시간과 정확도 제약 조건 하에 사전 훈련된 모델을 얼마나 빠르게 실행하는지 측정합니다. Datacenter 및 Edge 스위트에 대한 결과는 LoadGen에 의해 생성된 표준화된 요청 패턴(“시나리오”)으로 보고되며, 이는 아키텍처 중립성과 재현성을 보장합니다.
MIT 연구진은 LEGO를 소개했는데, 이는 텐서 워크로드를 사용하여 공간 가속기에 대한 합성 가능한 RTL을 자동으로 생성하는 컴파일러와 유사한 프레임워크이다. LEGO는 손으로 템플릿을 작성할 필요 없이 텐서 워크로드와 데이터 흐름을 표현하고, 재사용을 위해 FU (기능 장치) 인터커넥트 및 on-chip 메모리 레이아웃을 구축하며, 여러 작업을 퓨징하는 기능을 지원한다.
NVIDIA는 XGBoost 3.0을 발표했는데, 이제 1개의 GH200 Grace Hopper Superchip에서 기가바이트부터 1테라바이트(TB)까지의 그래디언트 부스팅 결정 트리 (GBDT) 모델을 학습할 수 있다. 이 혁신은 회사들이 사기 탐지, 신용 위험 모델링, 알고리즘 거래와 같은 애플리케이션을 위해 거대한 데이터셋을 처리할 수 있게 해준다.
