NVIDIA가 CRIU 및 cuda-checkpoint 도구를 사용하여 Kubernetes에서 vLLM 추론 작업자를 체크포인트하고 복원하는 ‘다이나모 스냅샷’을 발표했습니다.
스탠포드 연구진이 개인 AI 시스템을 위한 오픈소스 프레임워크 OpenJarvis를 공개했습니다. 이 프레임워크는 모든 기능을 기기 내에서 수행하며, 클라우드 모델보다 훨씬 저렴한 비용으로 운영됩니다.
iii를 활용하여 모듈형 함수를 등록하고 여러 트리거에서 재사용하는 방식으로 문서 인텔리전스 백엔드를 구축하는 방법을 소개합니다.
NVIDIA가 물리적 AI를 위한 자율 회귀 VLM 추론기와 확산 생성기를 결합한 오픈 옴니모달 세계 모델인 Cosmos 3를 출시했다.
파랄락스는 LLA의 쿼리별 솔버를 학습된 프로젝터로 대체하여 산술 강도를 두 배로 늘리고, 0.6B 및 1.7B에서 혼란도를 개선합니다.
이번 튜토리얼에서는 Python을 위한 강력하고 유연한 로깅 라이브러리인 Loguru를 사용하여 실용적인 사례를 구현합니다.
제네시스 AI가 2026년 5월 27일 물리, 렌더링, 컴파일, 도구를 포함한 시뮬레이션 플랫폼 ‘제네시스 월드 1.0’을 출시했습니다. 이 시스템은 시뮬레이션과 실제 로봇 성능 간의 상관관계를 0.8996으로 달성했습니다.
UC 버클리의 UCCL 팀이 다중 GPU 및 노드를 지원하는 mKernel을 출시했습니다. 이 라이브러리는 NVLink와 RDMA를 통합하여 효율적인 GPU 기반 통신을 가능하게 합니다.
이 튜토리얼에서는 Google Colab 또는 리눅스 환경에서 완전한 Ansible 자동화 실습실을 구축하는 방법을 소개합니다. Ansible 설치부터 인벤토리 설정까지 다양한 개념을 다룹니다.
Liquid AI가 8.3B 매개변수 중 1.5B를 활성화한 LFM2.5-8B-A1B 모델을 출시했습니다. 이 모델은 소비자 하드웨어에서 128K의 컨텍스트, 추론 및 도구 호출 기능을 제공합니다.
Perplexity AI가 재작성한 유니그램 토크나이저를 오픈 소스로 공개했습니다. 이 토크나이저는 재랭커의 지연 시간을 줄이고 CPU 사용량을 5-6배 감소시킵니다.
EAGLE 팀과 vLLM, TorchSpec이 협력하여 EAGLE 3.1을 출시했습니다. 이 알고리즘은 생산 환경에서 발생하는 추측적 디코딩의 불안정성을 해결합니다.
Together AI가 OSCAR(오프라인 스펙트럴 공분산 인식 회전)를 공개했습니다. 이 시스템은 긴 문맥의 LLM 서비스를 위한 INT2 KV 캐시 양자화 방법으로, 메모리 사용량을 약 8배 줄이고 디코드 속도를 최대 3배 향상시킵니다.
NVIDIA가 Gated DeltaNet-2를 발표했습니다. 이 모델은 델타 규칙에서 기존의 내용을 지우고 새로운 내용을 쓰는 과정을 분리하여 성능을 향상시킵니다. 1.3B 파라미터로 100B FineWeb-Edu 토큰에서 훈련되어 여러 언어 모델링 작업에서 우수한 성과를 보였습니다.
Nous Research가 LLM 행동을 조정하기 위한 새로운 방법인 Contrastive Neuron Attribution(CNA)을 발표했습니다. 이 방법은 희소 MLP 뉴런 회로를 식별하고 제거하는 방식으로, SAE 훈련이나 가중치 수정 없이도 가능합니다.
오픈AI가 40억 달러 규모의 배포 회사를 출범하고, 앤트로픽이 블랙스톤 및 골드만삭스와 15억 달러 규모의 합작 투자를 체결했습니다. 이들은 포워드 배치 엔지니어 모델을 중심으로 구축되었습니다.
Turbovec는 구글 리서치의 TurboQuant 알고리즘을 활용하여 벡터 검색을 지원하며, 16배 압축과 코드북 훈련이 필요 없는 RAG 파이프라인을 제공합니다.
NVIDIA가 3가지 디코딩 모드를 통합한 언어 모델 ‘Nemotron-Labs-Diffusion’을 출시했습니다. 이 모델은 3B, 8B, 14B 파라미터 크기로 제공되며, 자율 회귀, 확산 기반 병렬 디코딩, 자기 추측 디코딩을 지원합니다.
MemTensor, HONOR Device, 그리고 동지대학교의 연구팀이 사용자 데이터를 보호하면서도 메모리 유용성을 유지하는 MemPrivacy 프레임워크를 발표했습니다.
Nous Research가 발표한 라이트하우스 어텐션은 선택 기반의 계층적 어텐션 메커니즘으로, 프리트레인 중에만 사용되며, 기존의 방법보다 1.4~1.7배 빠른 속도를 자랑합니다.
Zyphra가 자가 회귀 LLM에서 변환된 최초의 MoE 확산 모델 ZAYA1-8B-Diffusion-Preview를 발표했다. 이 모델은 최대 7.7배의 추론 속도 향상을 보여준다.
Nous Research가 LLM 사전 훈련 시간을 최대 2.5배 단축할 수 있는 토큰 슈퍼포지션 트레이닝(TST) 방법을 발표했다. 이 방법은 모델 아키텍처를 변경하지 않고도 훈련 효율성을 높인다.
63%의 조직이 AI 거버넌스 정책을 갖고 있지 않으며, 그림자 AI가 이미 내부에서 운영되고 있다는 데이터가 공개됐다.
틸드 리서치가 신경망 훈련을 위한 새로운 최적화기 오로라를 발표했다. 이 최적화기는 널리 사용되는 뮤온 최적화기의 구조적 결함을 해결하며, 훈련 중 상당수의 MLP 뉴런이 영구적으로 사망하는 문제를 다룬다.
메타 FAIR와 스탠포드 대학의 연구진이 서브워드 토큰화 없이 50% 이상의 메모리 대역폭 비용을 줄이는 세 가지 추론 방법을 제안했습니다.
NVIDIA의 NVlabs가 Rust로 작성된 GPU 커널을 PTX로 변환하는 실험적 컴파일러인 cuda-oxide v0.1.0을 출시했다. 이 컴파일러는 단일 명령어로 호스트와 장치 코드를 동시에 컴파일할 수 있다.
라이트시크 재단이 에이전틱 코딩 시스템의 성능을 높이기 위해 오픈소스 LLM 추론 엔진 ‘토큰스피드’를 발표했다. 이 엔진은 TensorRT-LLM 수준의 성능을 목표로 하고 있다.
OpenAI가 AMD, 브로드컴, 인텔, 마이크로소프트, NVIDIA와 협력하여 MRC(다중 경로 신뢰 연결)라는 새로운 오픈 네트워킹 프로토콜을 개발했습니다. 이 프로토콜은 대규모 AI 훈련 클러스터의 GPU 네트워킹 성능과 복원력을 향상시킵니다.
Zyphra가 760M의 활성 파라미터를 가진 추론 Mixture of Experts 모델 ZAYA1-8B를 출시했다. 이 모델은 수학 및 코딩 벤치마크에서 기존의 대형 모델들을 능가하며, 새로운 지능 밀도를 제시하고 있다.
구글이 Gemma 4 패밀리를 위한 다중 토큰 예측(MTP) 드래프터를 발표하며, 품질 손실 없이 최대 3배 빠른 추론 속도를 달성했다고 밝혔다.
Zyphra가 텐서 및 시퀀스 병렬 처리(TSP) 기술을 소개했다. 이 기술은 GPU 축을 따라 파라미터와 활성화 메모리를 줄이는 전략으로, 기존 TP+SP 기준 대비 2.6배의 처리량을 제공한다.
NVIDIA 연구팀이 NeMo RL에 추측적 디코딩을 통합하여 8B 모델에서 1.8배의 롤아웃 생성 속도 향상을 달성했다고 발표했다. 235B 모델에서는 2.5배의 속도 향상이 예상된다.
이 튜토리얼에서는 TRL 라이브러리를 사용하여 대형 언어 모델의 후속 훈련 과정을 단계별로 안내합니다. 경량 모델을 시작으로, 감독 세부 조정, 보상 모델링, 직접 선호 최적화, 그룹 상대 정책 최적화의 네 가지 주요 기법을 적용합니다.
이 튜토리얼에서는 vLLM 위에 구축된 동적 KV 캐시 구현인 kvcached를 탐구하며, 대형 언어 모델의 GPU 메모리 사용 방식을 변화시키는 방법을 설명합니다.
DeepSeek AI가 DeepSeek-V4 시리즈의 미리보기 버전을 출시했습니다. 이 모델은 백만 토큰 컨텍스트를 실용적이고 경제적으로 만드는 데 중점을 두고 개발되었습니다.
OpenAI가 사이버 방어 프로그램의 신뢰할 수 있는 접근 방식을 확대하며, 사이버 보안에 최적화된 GPT-5.4-Cyber 모델을 수천 명의 검증된 방어자에게 제공한다고 발표했다.
이 튜토리얼에서는 Magika의 딥러닝 기반 파일 유형 탐지와 OpenAI의 언어 지능을 결합하여 실용적인 분석 파이프라인을 구축하는 방법을 소개합니다.
이 튜토리얼에서는 Redis에 의존하지 않고 Huey를 사용하여 완전한 백그라운드 작업 처리 시스템을 구축하는 방법을 설명합니다. SQLite를 기반으로 한 Huey 인스턴스를 설정하고, 고급 작업 패턴을 구현하는 방법을 다룹니다.
NetKet과 JAX를 사용하여 변형자 아키텍처와 양자 물리를 결합하는 방법을 배워보세요. 이 가이드는 신경 양자 상태를 통해 J1-J2 하이젠베르크 스핀 체인을 해결하는 연구 수준의 VMC 파이프라인 구축 과정을 안내합니다.
UCSD와 Together AI 연구팀이 파르카에(Parcae)라는 새로운 언어 모델 아키텍처를 소개했습니다. 이 모델은 기존 트랜스포머 모델의 두 배 크기와 같은 품질을 제공하면서도 효율성을 높였습니다.
복잡한 예측 문제를 해결하기 위해 여러 모델을 결합하는 앙상블 방식이 사용되지만, 이는 운영 복잡성과 지연 문제로 인해 실제 적용이 어렵습니다. 지식 증류는 이러한 앙상블을 교사로 활용하여 더 작은 모델을 훈련시키는 방법을 제시합니다.
알리바바의 Tongyi Lab이 비주얼 데이터를 효과적으로 탐색할 수 있는 다중 모달 RAG 프레임워크인 VimRAG를 발표했습니다. 이 프레임워크는 메모리 그래프를 활용하여 대규모 시각적 맥락을 탐색하는 데 중점을 두고 있습니다.
NVIDIA가 PyTorch 모델에 최적의 추론 백엔드를 자동으로 찾아주는 오픈소스 툴킷 AITune을 출시했다. 이 툴킷은 연구자가 훈련한 모델과 실제 운영 환경에서 효율적으로 작동하는 모델 간의 간극을 줄이는 데 도움을 준다.
현대 AI는 단일 프로세서에 의존하지 않고, CPU, GPU, TPU, NPU, LPU 등 다양한 전문 컴퓨팅 아키텍처를 활용합니다. 각 아키텍처는 유연성, 병렬 처리, 메모리 효율성 간의 균형을 고려하여 설계되었습니다.
이 튜토리얼에서는 NVIDIA의 KVPress를 통해 긴 문맥 언어 모델 추론을 효율적으로 수행하는 방법을 자세히 설명합니다. 환경 설정, 라이브러리 설치, 모델 로딩 및 간단한 워크플로우 준비 과정을 다룹니다.
딥 뉴럴 네트워크는 입력 공간을 재형성하여 복잡한 결정 경계를 형성하는 기하학적 시스템으로 이해될 수 있다. 이 과정에서 각 레이어는 의미 있는 공간 정보를 보존해야 한다.
이 튜토리얼에서는 Colab에서 원활하게 실행되는 ModelScope의 전체적인 워크플로우를 탐구합니다. 환경 설정, 의존성 확인, GPU 가용성 검증을 통해 신뢰성 있는 작업을 시작합니다.
이 튜토리얼에서는 NVIDIA 변환 엔진을 Python으로 구현하며, 혼합 정밀도 가속을 활용한 딥러닝 워크플로우를 탐구합니다. 환경 설정, GPU 및 CUDA 준비 상태 확인, 필요한 구성 요소 설치 방법을 다룹니다.
RightNow AI 연구팀이 PyTorch 모델의 GPU 커널 최적화를 위한 오픈소스 프레임워크 AutoKernel을 출시했다. 이 프레임워크는 자율 LLM 에이전트 루프를 적용하여 GPU 코드를 자동화하는 것을 목표로 한다.
구글이 대형 언어 모델의 메모리 통신 오버헤드를 줄이기 위해 TurboQuant라는 새로운 압축 알고리즘을 발표했습니다. 이 알고리즘은 LLM의 키-값 캐시 메모리를 6배 줄이고 최대 8배의 속도 향상을 제공합니다.
NVIDIA가 Nemotron-Terminal을 공개했다. 이는 LLM 터미널 에이전트의 확장을 위한 체계적인 데이터 엔지니어링 파이프라인으로, 자율 주행 AI 에이전트 구축 경쟁에서 데이터가 병목 현상을 일으키고 있다. 새로운 모델과 훈련 전략의 불투명성은 연구자와 개발자를 고비용의 암묵적인 사이클로 몰아넣고 있다.
이 튜토리얼에서는 현대 RAG 시스템이 임베딩을 분산 스토리지 노드에 샤딩하는 방식을 반영하는 탄성 벡터 데이터베이스 시뮬레이터를 구축한다. 시스템이 확장될수록 균형 잡힌 배치와 최소한의 재배치를 보장하기 위해 가상 노드로 일관된 해싱을 구현한다. 해싱 링을 실시간으로 시각화하고 노드를 대화식으로 추가하거나 제거한다.
대규모 언어 모델(Large Language Models, LLMs)을 대규모로 제공하는 것은 키-값(Key-Value, KV) 캐시 관리로 인해 엄청난 공학적 도전이다. NVIDIA 연구진은 KVTC(KV Transform Coding)를 소개하여 효율적인 LLM 서빙을 위해 키-값 캐시를 20배로 압축했다.
Microsoft의 Maia 200은 Azure 데이터센터에서 사용되는 새로운 AI 가속기로, 좁은 정밀도 컴퓨팅, 밀도 높은 칩 내 메모리 계층, 이더넷 기반 확장 패브릭을 결합하여 대형 언어 모델 및 추론 워크로드의 토큰 생성 비용을 타겟팅한다. Microsoft이 전용 추론 칩을 만든 이유는 무엇인가?
OpenAI팀이 Hugging Face에서 openai/circuit-sparsity 모델과 GitHub에서 openai/circuit_sparsity 툴킷을 공개했다. ‘Weight-sparse transformers have interpretable circuits’ 논문의 모델과 회로를 패키징했는데, 이는 Python 코드로 훈련된 GPT-2 스타일 디코더 전용 트랜스포머다. 희소성은 훈련 후에 추가되지 않았다.
구글과 MediaTek의 새 LiteRT NeuroPilot 가속기는 실제 생성 모델을 폰, 랩탑 및 IoT 하드웨어에서 데이터 센터로 요청을 보내지 않고 실행할 수 있는 구체적인 단계입니다. 기존의 LiteRT 런타임을 채택하여 MediaTek의 NeuroPilot NPU 스택에 직접 연결하여 개발자가 LLMs와 임베딩 모델을 배포할 수 있습니다.
Moonshot AI와 Tsinghua 대학의 연구진은 대규모 추론 모델에 대한 강화 학습이 매우 긴, 매우 느린 롤아웃에 멈추지 않도록하고 GPU가 under used 상태에서 어떻게 유지할 수 있는지에 대한 새로운 온라인 콘텍스트 학습 시스템 ‘Seer’를 소개했다.
Perplexity의 연구팀이 TransferEngine 및 pplx garden 툴킷을 공개하여, 기존 GPU 클러스터에서 1조 매개변수 언어 모델을 실행하는 방법을 제공함.
대형 언어 모델은 훈련보다는 실제 트래픽 하에서 토큰을 빠르고 저렴하게 제공하는 방법에 더 많은 제약을 받는다. 이는 런타임이 요청을 일괄 처리하는 방식, 프리필과 디코드를 어떻게 중첩시키는지, KV 캐시를 어떻게 저장하고 재사용하는지에 달려 있다. 서로 다른 엔진들은 서로 다른 절충안을 제공한다.
MLPerf 추론은 하드웨어, 런타임 및 서빙 스택으로 구성된 완전한 시스템이 정해진 지연 시간과 정확도 제약 조건 하에 사전 훈련된 모델을 얼마나 빠르게 실행하는지 측정합니다. Datacenter 및 Edge 스위트에 대한 결과는 LoadGen에 의해 생성된 표준화된 요청 패턴(“시나리오”)으로 보고되며, 이는 아키텍처 중립성과 재현성을 보장합니다.
IBM과 ETH 취리히의 연구진은 아날로그 퍼운데이션 모델(AFMs)을 발표했는데, 이 모델은 대형 언어 모델(LLMs)과 아날로그 인메모리 컴퓨팅(AIMC) 하드웨어 사이의 간극을 메우는 데 사용된다. AIMC는 효율성 측면에서 혁명적인 발전을 약속하며, 임베디드나 엣지 디바이스에 적합한 작은 공간에서 십억 개의 파라미터를 가진 모델을 실행할 수 있다.
MIT 연구진은 LEGO를 소개했는데, 이는 텐서 워크로드를 사용하여 공간 가속기에 대한 합성 가능한 RTL을 자동으로 생성하는 컴파일러와 유사한 프레임워크이다. LEGO는 손으로 템플릿을 작성할 필요 없이 텐서 워크로드와 데이터 흐름을 표현하고, 재사용을 위해 FU (기능 장치) 인터커넥트 및 on-chip 메모리 레이아웃을 구축하며, 여러 작업을 퓨징하는 기능을 지원한다.
AI의 빠른 세계에서 대형 언어 모델(LLMs)은 챗봇부터 코드 어시스턴트까지 모든 것을 구동한다. 그러나 당신의 LLM 추론은 응답 생성 과정이 최대 5배 더 느릴 수 있다. 이유는 출력 길이의 불확실성을 다루는 너무 조심스러운 방식 때문이다.
GPU와 TPU는 대규모 트랜스포머 모델 학습을 가속화하는 데 중요한 역할을 하지만, 핵심 아키텍처, 성능 프로필 및 생태계 호환성의 차이로 인해 사용 사례, 속도, 유연성에 중요한 영향을 미친다. TPUs는 구글이 고도로 효율적인 행렬 연산을 위해 특별히 제작한 사용자 정의 ASIC(특정 응용 프로그램 통합 회로)이며, 핵심 아키텍처와 하드웨어 기초가 다르다.
입자 기반 시뮬레이션과 포인트 클라우드 응용 프로그램은 과학 및 상업 데이터 집합의 크기와 복잡성을 대규모로 확장시키고 있으며, 이를 효율적으로 축소, 저장 및 분석하는 것은 현대 GPU의 병목 현상을 방지하는 것이다. 이는 우주학, 지질학과 같은 분야에서 신흥 대규모 도전 과제 중 하나이다.
2025년을 기준으로 AI 추론에 대한 기술적인 심층 탐구를 제공하며, 모델 훈련과 실제 응용 프로그램 간의 연결을 담당하는 추론의 핵심 기능에 대해 다룹니다. 현대 모델의 지연 문제와 최적화 전략과 같은 주제를 다룹니다.
AI와 기계 학습 워크로드는 전통적인 CPU가 제공하는 것 이상의 계산 가속화를 촉진하여 특화된 하드웨어의 발전을 이끌었습니다. 각각의 처리 장치인 CPU, GPU, NPU, TPU는 AI 생태계에서 특정 모델, 응용 프로그램 또는 환경에 최적화되어 독특한 역할을 합니다. 이들의 주요 차이와 최상의 사용 사례에 대한 기술적이고 데이터 주도적인 분석을 제공합니다.
아마존 연구진이 뇌가 특정 작업을 위해 특수 영역을 사용하는 것과 유사하게 작업 관련 뉴런만 선택하여 추론 시간을 30% 단축하는 새로운 AI 아키텍처를 개발했다. 이 혁신적인 방법은 대규모 AI 모델이 직면한 가장 큰 문제 중 하나인 모든 요청마다 모든 뉴런을 활성화하는 데 필요한 계산 비용과 지연 시간을 해결한다.
2025년에 글로벌 프록시 시장이 급속히 확장되고 있으며, 산업은 2.5조 달러로 평가되며 주거용 프록시에 대한 폭발적인 수요, AI를 위한 실시간 데이터 수집, 클라우드 기반 프록시 서비스의 성장 등으로 18%의 견고한 연평균 성장률을 나타냅니다.
Meta가 KernelLLM을 소개했습니다. 이는 PyTorch 모듈을 효율적인 Triton GPU 커널로 번역하는 8억 개의 파라미터를 가진 언어 모델로, GPU 프로그래밍의 장벽을 낮추기 위한 노력입니다.
화웨이가 Pangu Ultra MoE를 소개했다. 이 모델은 Ascend NPUs에서 효율적으로 훈련되어 718B-파라미터의 희소 언어 모델로, 시뮬레이션 주도 아키텍처와 시스템 수준 최적화를 활용한다.
