본문에서는 양자화 모델이 Amazon SageMaker AI에 어떻게 원활하게 배포되는지 살펴봅니다. 양자화는 추론 비용을 낮추고 자원이 제한된 하드웨어에 배포를 지원하며, 현대 LLM의 금융 및 환경적 영향을 줄이면서 대부분의 성능을 유지하는 방법을 탐구합니다. PTQ의 원리에 대해 심층적으로 살펴보고 선택한 모델을 양자화하고 Amazon SageMaker에 배포하는 방법을 시연합니다.
Beekeeper는 자동화된 리더보드 접근법과 동적 LLM 및 프롬프트 쌍 선택을 위한 인간 피드백 루프 시스템을 통해 조직이 언어 모델의 빠르게 변화하는 환경을 탐색하는 데 직면한 주요 과제를 해결하고 있다.
AWS와 Instituto de Ciência e Tecnologia Itaú (ICTi) 간의 전략적 과학적 파트너십을 통해 개발된 이 게시물은 텍스트와 오디오에 대한 감성 분석의 기술적 측면을 탐구합니다. 여러 ML 모델 및 서비스를 비교하고 각 접근 방법의 트레이드오프와 함정을 논의하며 AWS 서비스가 어떻게 조합되어 견고하고 완결된 솔루션을 구축할 수 있는지 강조합니다. 또한 대형 언어 모델 (LLM)을 위한 더 고급화된 프롬프트 엔지니어링과 텍스트 데이터만으로는 놓칠 수 있는 감정적 단서를 포착하기 위해 오디오 기반 분석 범위를 확대하는 가능한 미래 방향에 대한 통찰을 제공합니다.
TrueLook가 SageMaker AI를 활용해 AI-기반 안전 모니터링 시스템을 구축한 아키텍처 개요를 제공. 주요 기술 결정, 파이프라인 디자인 패턴, MLOps 최상의 실천 방법을 강조하며 AWS에서 확장 가능한 컴퓨터 비전 솔루션 설계에 대한 통찰력을 제공.
이 게시물은 Amazon Bedrock 데이터 자동화 및 Amazon Bedrock 가드레일을 사용한 자동화된 PII 감지 및 마스킹 솔루션을 소개하며, 수신 이메일과 첨부 파일의 대량 텍스트 및 이미지 콘텐츠를 처리하는 사용 사례를 통해 솔루션의 구현 절차를 안내합니다. 이 솔루션은 권한이있는 인원이 안전하게 이메일 통신 및 첨부 파일을 관리하고 검토할 수 있는 React 기반 사용자 인터페이스를 제공합니다.
스탠포드 의학 연구진이 SleepFM Clinical을 소개했는데, 이는 임상 다중 모달 수면 기반 모델로, 임상 다중모달 다뇨종합검사로부터 학습하고 단 하룻밤의 수면으로 장기 질병 위험을 예측한다.
TII 아부다비가 Falcon-H1R-7B를 발표했습니다. 이 모델은 7B 파라미터로 수학, 코딩 및 일반 벤치마크에서 많은 14B에서 47B 모델을 능가하면서도 효율적이고 효율적입니다.
NVIDIA가 저지연 음성 에이전트와 라이브 자막을 위해 특별히 제작된 새로운 영어 전사 모델(Nemotron Speech ASR)을 공개했다. 이 모델은 FastConformer 인코더와 RNNT 디코더를 결합한 캐시 인식 아키텍처로 최적화되어 현대 NVIDIA GPU에서 스트리밍 및 배치 작업에 튜닝되었다.
Liquid AI가 LFM2.5를 소개했는데, LFM2 아키텍처를 기반으로 한 작은 foundation 모델 세대로, 장치 및 엣지 배포에 초점을 맞추고 있다. LFM2.5-1.2B-Base와 LFM2.5-1.2B-Instruct를 포함하며 일본어, 시각 언어, 음성 언어 변형도 제공한다. Hugging Face에서 오픈 웨이트로 출시되었다.
Recursive Language Models는 대규모 언어 모델에서 일반적으로 발생하는 문맥 길이, 정확도 및 비용 사이의 상충 관계를 깨려고 한다. RLM은 모델이 하나의 거대한 프롬프트를 한 번에 읽도록 강요하는 대신, 프롬프트를 외부 환경으로 취급하고 모델이 코드로 어떻게 조사할지 결정한 다음 재귀적으로 호출한다.
LLMRouter는 일리노이스 대학교 어바나 샴페인 캠퍼스의 U Lab에서 개발된 오픈 소스 라우팅 라이브러리로, 각 쿼리에 대해 작업 복잡성, 품질 목표 및 비용을 기반으로 모델을 선택하여 모델 선택을 시스템 문제로 취급합니다.
이 게시물은 수요에 따라 자동으로 리소스를 확장하고 서버 패치 및 저장소 관리 작업을 제거하는 SageMaker AI의 MLflow 앱으로 자체 관리형 MLflow 추적 서버를 이전하는 방법을 보여줍니다. MLflow Export Import 도구를 사용하여 실험, 실행, 모델 및 기타 MLflow 리소스를 전송하는 방법을 배우고 마이그레이션의 성공을 검증하는 지침을 제공합니다.
구글이 FunctionGemma를 출시했다. Gemma 3 270M 모델을 기반으로 훈련된 이 모델은 함수 호출을 위해 특별히 설계되었고 자연어를 실행 가능한 API 액션으로 매핑하는 엣지 에이전트로 작동한다.
이 튜토리얼에서는 Agentic AI의 최첨단 기술을 활용하여 인간 뇌처럼 정보를 조직하는 “Zettelkasten” 메모리 시스템을 구축한다. 표준 검색 방법을 넘어 에이전트가 입력을 원자적 사실로 자율적으로 분해하고 의미론적으로 연결하는 동적 지식 그래프를 구축한다.
이 포스트에서는 Strands SDK, Amazon Bedrock AgentCore, Amazon Bedrock Knowledge Base 및 Bedrock Data Automation(BDA)를 활용하여 IDP 솔루션을 프로그래밍적으로 생성하는 방법을 탐구합니다. 사용자들이 Jupyter 노트북을 통해 다중 모달 비즈니스 문서를 업로드하고 BDA를 사용하여 관련 청크를 검색하고 FM에 프롬프트를 보강하는 파서로 사용하는 솔루션을 제공합니다.
구글 헬스 AI 팀이 MedASR을 공개했다. MedASR은 임상 사전작성과 의사-환자 대화를 대상으로 한 오픈 가중치 의료 음성 대본 모델로, 현대 AI 워크플로에 직접 통합될 수 있도록 설계되었다. MedASR은 Conformer 아키텍처를 기반으로 한 음성 대본 모델이다.
Amazon의 다음 세대 추론 엔진인 Mantle이 제로 오퍼레이터 액세스(ZOA) 디자인을 구현하여 AWS 오퍼레이터들이 고객 데이터에 액세스할 수 있는 기술적 수단을 제거하는 방법을 탐색합니다.
이 게시물은 Amazon Nova를 사용하여 생성 AI를 통해 마케팅 캠페인 작성을 간소화하고 가속화하는 방법에 초점을 맞추고 있습니다. 콜롬비아 최대 은행 중 하나인 Bancolombia가 Amazon Nova 모델을 활용하여 마케팅 캠페인을 위한 시각 자료를 생성하는 방법을 소개합니다.
AWS와 Visa가 협력하여 Visa Intelligent Commerce를 통해 에이전틱 상거래를 가능하게 하고, Amazon Bedrock AgentCore를 활용하는 방법을 탐구합니다. 자율 AI 에이전트가 자연어를 통해 이뤄지는 단순한 엔드투엔드 워크플로로 쇼핑 및 여행 경험을 변화시킬 수 있는 방법을 보여줍니다.
구글 딥마인드 연구원들이 Gemma Scope 2를 소개했다. 이는 Gemma 3 언어 모델이 270M에서 27B 파라미터에 이르는 모든 레이어에서 정보를 처리하고 표현하는 방법을 노출하는 해석성 도구 모음이다. 주요 목표는 AI 안전 및 정렬 팀들이 모델 동작을 내부 기능으로 역추적할 수 있는 실용적인 방법을 제공하는 것이다.
GenAI IDP 가속기에 통합된 새로운 기능 Analytics Agent를 소개합니다. 사용자는 SQL 또는 데이터 분석 전문 지식 없이 자연어 쿼리를 사용하여 고급 검색과 복잡한 분석을 수행할 수 있습니다. 이 기능을 통해 비전문가도 대규모로 처리한 문서를 자연어로 분석하고 이해할 수 있습니다.
NVIDIA가 Nemotron 3 패밀리를 발표했는데, 이는 agentic AI를 위한 완전한 스택으로, 모델 가중치, 데이터셋 및 강화 학습 도구를 포함한다. 이 패밀리는 Nano, Super, Ultra 세 가지 크기로 나뉘어 있으며, 긴 문맥 추론과 추론 비용에 엄격한 제어가 필요한 다중 에이전트 시스템을 대상으로 한다.
이 튜토리얼에서는 Kombu를 사용하여 이벤트 중심의 워크플로우를 구축하는 방법에 대해 설명합니다. 메시징을 핵심 아키텍처 기능으로 취급하여 교환, 라우팅 키, 백그라운드 워커, 동시 생산자의 설정을 단계별로 안내하며 실제 분산 시스템을 관찰할 수 있습니다.
구글이 T5Gemma 2를 발표했다. Gemma 3 사전 훈련 가중치를 인코더-디코더 레이아웃으로 적응시킨 후, UL2 목적으로 사전 훈련을 계속했다. 개발자들을 위해 사전 훈련된 상태로 제공되며 특정 작업을 위해 추가 훈련할 수 있도록 의도되었다.
Unsloth와 NVIDIA는 RTX 데스크탑부터 DGX Spark까지 NVIDIA RTX AI PC를 사용하여 인기 있는 AI 모델을 빠르게 Fine-tuning하여 코딩, 창의적 작업 및 복잡한 업무에 맞는 맞춤형 어시스턴트를 구축할 수 있습니다.
Strands 에이전트, Amazon Bedrock AgentCore 및 NVIDIA NeMo Agent Toolkit의 강력한 조합을 사용하여 AWS에서 AI 에이전트를 초기 개발부터 프로덕션 배포까지 구축, 평가, 최적화 및 배포하는 방법을 보여줍니다.
이 포스트에서는 조직이 모델 개발 및 배포 수명주기를 추적하고 관리하는 데 도움이 되는 새로운 기능과 핵심 개념을 탐구합니다. 데이터셋 업로드 및 버전 관리부터 모델 세밀 조정, 평가 및 원활한 엔드포인트 배포까지 자동 종단간 계보를 갖춘 모델을 훈련하는 방법을 안내합니다.
이 포스트에서는 Amazon SageMaker에서 MLflow를 관리하여 이러한 실험을 기록하고 진행 상황을 모니터링하는 통합 시스템을 제공하는 방법을 보여줍니다.
Thinking Machines Lab은 Tinker 훈련 API를 일반적으로 사용 가능하게 하고, Kimi K2 Thinking 추론 모델 지원, OpenAI 호환 샘플링, Qwen3-VL 비전 언어 모델을 통한 이미지 입력을 추가했습니다. AI 엔지니어들에게는 분산 훈련을 구축하지 않고도 선두 모델을 세밀하게 조정할 수 있는 실용적인 방법으로 변모시켰습니다.
Amazon SageMaker HyperPod는 이제 탄력적 훈련을 지원하여 기계 학습(ML) 워크로드가 자동으로 자원 가용성에 기반해 확장될 수 있게 합니다. 이 글에서는 탄력적 훈련이 GPU 활용률을 극대화하고 비용을 줄이며 모델 개발을 가속화하는 방법을 보여줍니다. 동적 자원 적응을 통해 훈련 품질을 유지하고 수동 개입을 최소화합니다.
Strands 에이전트를 사용한 두 가지 강력한 조율 패턴을 탐구합니다. 여행 계획 도구를 사용하여 다양한 조율 전략이 동일한 문제를 해결하는 방법을 보여줍니다.
CopilotKit은 AI 동료 및 앱 내 에이전트를 직접 구축하기 위한 오픈 소스 프레임워크입니다. 팀들은 에이전트 그래프를 강력한 사용자 인터페이스로 변환하기 위해 여전히 사용자 정의 코드를 작성해야 했는데, CopilotKit은 이를 해결합니다.
Swisscom은 Amazon Bedrock AgentCore를 도입하여 고객 지원 및 영업용 기업 AI 에이전트를 구축하고 확장하는 방법을 소개합니다. 스위스컴은 AWS 유럽 지역(취리히)의 Amazon Bedrock 초기 도입 업체로, Rasa를 기반으로 한 대화형 AI 및 Amazon SageMaker의 fine-tuned LLM을 포함한 다양한 AI 프로젝트를 성공적으로 구축하고 있습니다.
Marktechpost의 ML 글로벌 영향 보고서에 따르면, ML 도구의 원산지와 연구 채택 사이에 지리적 불균형이 있음을 밝혀냄. 125개국에서 발표된 5,000여편의 논문을 분석한 결과, 특정 연구 영역에서의 불균형을 보여줌.
Mistral AI가 소프트웨어 엔지니어링 에이전트를 위한 다음 세대 코딩 모델인 Devstral 2 및 터미널 또는 Agent Communication Protocol을 지원하는 IDE 내에서 실행되는 오픈 소스 명령줄 코딩 도우미인 Mistral Vibe CLI를 소개했습니다.
S&P Global과 Amazon Quick Research 간의 새로운 통합이 발표되었습니다. 이 통합으로 Quick Research 고객들은 S&P Global Energy 뉴스, 연구 및 통찰력과 S&P Global Market Intelligence 데이터를 하나의 심층적인 연구 에이전트에서 이용할 수 있습니다.
Apple과 에든버러 대학의 연구팀이 CLaRa를 발표했다. CLaRa는 연속 잠재 추론을 사용하여 시멘틱 문서를 압축하는 기능을 제공한다.
NVIDIA와 Mistral AI의 전략적 협력 확대로 Mistral 3 패밀리의 새로운 모델 출시와 함께 추론 속도가 10배 향상되었다. 이는 하드웨어 가속화와 오픈 소스 모델 아키텍처가 만나 성능 기준을 재정의한 중대한 순간이다.
DeepSeek 연구팀이 DeepSeek-V3.2 및 DeepSeek-V3.2-Speciale을 소개했다. 이 모델들은 에이전트를 위한 고품질 추론, 장문맥, 에이전트 워크플로우를 지향하며 열린 가중치와 제품 API를 갖췄다.
MiniMax-M2는 AI 코딩 환경을 혁신하며, 고성능이 높은 비용이나 레이턴시로 이어지는 문제를 해결한다. 이 기사는 MiniMax-M2에 대한 기술적 개요를 제공한다.
Najat Khan, 박사가 Recursion의 새 CEO로서 AI 기반 약물이 임상 영향을 미치기까지의 현실적인 일정, AI 성공의 초록 싹, 그리고 자신의 우선 순위에 대해 설명합니다.
DeepSeek AI가 공개 가중치 대규모 언어 모델인 DeepSeekMath-V2를 발표했다. 이 모델은 자연어 정리를 최적화하고 자가 검증을 통해 자신의 추론이 올바른지 확인하면서 복잡한 올림피아드 수학 문제를 해결할 수 있다.
OceanBase가 AI를 위해 고안된 오픈소스 데이터베이스인 seekdb를 출시했다. seekdb는 다양한 데이터 모델과 AI 에이전트를 위한 하이브리드 검색 기능을 제공하며, Apache 2.0 라이센스로 제공된다.
Myriad Genetics는 AWS Generative AI 혁신 센터와 협력하여 Amazon Bedrock 및 Amazon Nova foundation 모델을 활용해 건강 관련 문서 처리 파이프라인을 개선했으며, 98%의 분류 정확도를 달성하고 비용을 77% 줄이고 처리 시간을 80% 단축했다. AWS의 오픈소스 GenAI Intelligent Document Processing Accelerator를 사용한 기술적 구현과 문서 분류 및 핵심 정보 추출에 대한 최적화 전략, 그리고 Myriad의 사전 승인 업무에 미친 실제 비즈니스 영향을 상세히 설명한다.
Amazon Bedrock AgentCore Gateway에 대한 새로운 기능인 게이트웨이 인터셉터를 출시했습니다. 이 강력한 기능은 세밀한 보안, 동적 접근 제어 및 유연한 스키마 관리를 제공합니다.
Condé Nast가 Amazon Bedrock과 Anthropic의 Claude를 활용하여 계약 처리와 권리 분석 업무를 가속화하는 방법을 탐구한다. 다수의 브랜드와 지역을 아우르는 회사의 포트폴리오는 점점 복잡해지는 계약, 권리, 라이선싱 계약을 관리해야 했다.
텐센트 훈유안이 OCR 및 문서 이해를 위해 특화된 1B 파라미터 비전 언어 모델인 HunyuanOCR을 공개했다. 이 모델은 멀티모달 아키텍처를 기반으로 하며, 스포팅, 파싱, 정보 추출, 시각적 질문 응답 및 텍스트 이미지 번역을 단일 엔드 투 엔드 파이프라인을 통해 실행한다.
Amazon SageMaker AI 추론에 양방향 스트리밍을 도입했는데, 이는 추론을 단방향 교환이 아닌 지속적인 대화로 변환시킵니다. 본문에서는 SageMaker AI 엔드포인트에 양방향 스트리밍 기능을 갖춘 컨테이너를 구축하고 배포하는 방법을 안내하며, Deepgram의 미리 구축된 모델과 컨테이너를 사용해 실시간 추론을 위한 양방향 스트리밍 기능을 활성화하는 방법을 보여줍니다.
Amazon SageMaker HyperPod가 NVIDIA Multi-Instance GPU(MIG) 기술을 지원함으로써 강력한 GPU를 여러 격리된 인스턴스로 분할하여 추론, 연구, 상호작용 개발과 같은 동시 작업을 실행할 수 있게 되었습니다. GPU 활용도를 극대화하고 낭비되는 자원을 줄이는 MIG는 기업이 다양한 머신러닝 작업에서 성능 격리와 예측 가능한 서비스 품질을 유지하면서 비용을 최적화할 수 있도록 도와줍니다.
UNC-Chapel Hill, Salesforce Research 및 Stanford University의 연구자들이 소개한 ‘Agent0’는 외부 데이터 없이 고성능 에이전트를 다단계 공진을 통해 진화시키는 완전 자율형 프레임워크이다.
이 포스트에서는 Amazon Bedrock를 사용하여 GPT-OSS-20B 모델을 배포하는 방법을 소개하며, 기존 응용 프로그램과 완전한 API 호환성을 유지합니다.
나노 바나나 프로는 구글 딥마인드의 새 이미지 생성 및 편집 모델로, 구조, 세계 지식, 텍스트 레이아웃을 존중해야 하는 이미지를 생성하고 편집하는 최첨단 시스템이다.
Foursquare Spatial H3 Hub의 지리 데이터와 Amazon SageMaker AI에 배포된 추론 모델을 결합하여, 공간 질문에 대한 복잡한 답변을 몇 분 내에 얻을 수 있는 지리 AI 에이전트를 배포하는 방법을 배웁니다. 이를 통해 비기술적인 도메인 전문가들이 지리 정보 시스템(GIS) 전문 지식이나 사용자 정의 데이터 엔지니어링 파이프라인이 필요하지 않은 자연어 쿼리를 통해 정교한 공간 분석을 수행할 수 있는 에이전트를 구축할 수 있습니다.
Allen Institute for AI (AI2)가 오픈 소스로 출시한 Olmo 3는 전체 ‘모델 플로우’를 노출하는데, 원시 데이터 및 코드부터 중간 체크포인트 및 배포 준비 모델까지 포함하고 있습니다. Olmo 3은 7B 및 32B 파라미터 모델을 갖춘 밀도 변환기 스위트입니다.
Meta AI 팀이 Meta Segment Anything Model 3 또는 SAM 3을 공개했다. SAM 3은 간단한 프롬프트를 사용하여 대규모 이미지 및 비디오 컬렉션에서 모든 개념의 인스턴스를 신뢰성 있게 찾고 세분화하고 추적하는 데 사용되는 통합 기본 모델이다.
이 블로그 포스트에서는 에이전트 워크플로우가 자연어 인터페이스를 활용하여 규모 확장 가능한 유전체 파이프라인의 처리 및 해석을 가속화하는 방법을 소개합니다. 우리는 자동화된 데이터 처리와 지능적 분석을 결합한 포괄적 유전체 변이 해석기 에이전트를 시연하여, 원시 VCF 파일 수용부터 대화형 쿼리 인터페이스까지 전체 워크플로우를 다룹니다.
Snowflake AI Data Cloud와 Amazon Web Services(AWS) 도구를 활용하여 조직이 데이터 기반 의사결정을 내리고 운영 효율을 높이며 경쟁 우위를 확보할 수 있는 생성적 AI 솔루션을 구축하는 방법에 대해 다루고 있습니다.
Spectrum을 사용하여 리소스 사용을 최적화하고 학습 시간을 단축하는 방법을 배우고, Amazon SageMaker AI 학습 작업에서 Spectrum Featuning을 구현하는 방법을 알아봅니다. 또한 QLoRA와 Spectrum Featuning 사이의 트레이드오프에 대해 논의하며, QLoRA가 리소스를 더 효율적으로 사용하는 반면 Spectrum은 전반적으로 더 높은 성능을 제공한다고 보여줍니다.
RoboTic-Tac-Toe는 두 대의 로봇이 틱택토 보드를 움직이는 대화형 게임으로, LLMs가 게임 플레이와 로봇 움직임을 조율합니다. 자연어 명령을 사용해 로봇을 제어하고, 플레이어는 자신의 표시를 게임 보드에 놓을 수 있습니다. 이 게시물에서는 틱택토 게임을 이해하고 현재 플레이어를 위한 최적의 게임 전략과 움직임 계획을 결정하기 위해 사용된 구조와 프롬프트 엔지니어링 기술을 탐구합니다.
플랫폼 엔지니어링 원칙을 생성 AI에 적용하여 가치 실현 시간 단축, 비용 통제, 확장 가능한 혁신을 어떻게 가능케 하는지에 대해 설명합니다.
Uni-MoE-2.0-Omni은 텍스트, 이미지, 오디오, 비디오를 신뢰성 있게 이해하는 오픈 모델로, 하비른 공과대학의 연구진이 소개했다. 이 시스템은 언어 중심의 다중 모달 추론을 위해 Lychee의 Uni-MoE 라인을 발전시킨 것으로, 효율적으로 운영된다.
Amazon Bedrock AgentCore와 Claude가 기업들에게 생산 준비가 된 에이전틱 AI 시스템을 배포하여 최대 63%의 자율 문제 해결과 58% 빠른 응답 시간을 실현하고 있다. Claude의 선도적 AI 능력과 AgentCore의 기업급 인프라를 결합한 기술 기반을 탐구하며, 조직이 복잡한 운영 시스템을 처음부터 구축하는 대신 에이전트 논리에 집중할 수 있도록 도와준다.
Meta AI가 DreamGym을 소개했다. DreamGym은 강화 학습을 위한 텍스트 경험 합성기로, 대형 언어 모델 에이전트를 위해 설계되었다. 강화 학습에서 실제 상호작용이 필요한데 이를 해결하기 위해 DreamGym이 개발되었다.
MBZUAI의 연구진이 PAN이라는 새로운 모델을 소개했다. 이 모델은 시간이 지남에 따라 도착하는 작업에 따라 지속되는 내부 세계 상태를 유지하지 않는 대부분의 텍스트에서 비디오 모델과는 달리, 상호작용 가능한 일반적인 세계 모델로 작용하도록 설계되었다.
Amazon Bedrock에서 Cohere Embed 4 다중 모달 임베딩 모델을 완전히 관리되는 서버리스 옵션으로 제공한다. 기업 검색용 Embed 4의 이점과 독특한 기능에 대해 살펴보며 Strands Agents, S3 Vectors, Amazon Bedrock AgentCore와의 통합을 통해 강력한 agentic retrieval-augmented generation (RAG) 워크플로우를 구축하는 방법을 안내한다.
GxP 규정 준수를 위한 규제 환경이 AI의 고유한 특성을 고려하도록 발전하고 있습니다. 본문에서는 위험 기반 구현, 다양한 위험 수준에 따른 실용적 구현 고려 사항, AWS의 규정 준수를 위한 공유 책임 모델, 위험 완화 전략의 구체적 예시 등을 다룹니다.
본문에서는 다중 에이전트, 다중 모달 인공지능 시스템을 위한 네 가지 핵심 협업 패턴을 탐구하며 – 도구로서의 에이전트, 스왐 에이전트, 에이전트 그래프, 에이전트 워크플로우 – 각각을 언제, 어떻게 적용해야 하는지에 대해 오픈소스 AWS Strands Agents SDK와 아마존 노바 모델을 사용하는 방법에 대해 논의합니다.
이 튜토리얼에서는 JAX, Flax, 및 Optax를 사용하여 효율적이고 모듈화된 방식으로 고급 신경망을 구축하고 훈련하는 방법을 탐구합니다. 잔여 연결 및 Self-Attention 메커니즘을 통합한 심층 아키텍처를 설계한 후 학습률 스케줄링과 같은 정교한 최적화 전략을 구현합니다.
Moonshot AI의 Kosong은 에이전트 애플리케이션을 위한 LLM 추상화 계층으로, 메시지 구조, 비동기 도구 조정, 플러그인형 채팅을 통합해 유지보수 가능한 스택을 제공한다.
ML Foundations 연구팀이 소개한 Gelato-30B-A3B는 그래픽 사용자 인터페이스를 위한 최첨단 그라운딩 모델로, AI 에이전트에게 명확한 화면 요소를 찾아 클릭하도록 가르치는 것에 대한 문제를 해결한다.
클라리오는 아마존 베드락과 기타 AWS 서비스를 활용하여 AI 솔루션을 구축하여 COA 인터뷰의 분석을 자동화하고 개선하는 방법을 소개합니다.
Edison Scientific이 만든 Kosmos는 데이터세트와 자연어 목표를 받아들여 반복적인 데이터 분석, 문헌 검색, 가설 생성을 수행하고 결과를 완전히 인용된 과학 보고서로 합성하는 자율 발견 시스템이다.
이 튜토리얼에서는 신경 메모리 에이전트가 과거 경험을 잊지 않고 계속 학습하는 방법을 탐구합니다. 우리는 경험 재생과 메타-러닝을 통합한 메모리 보강 신경망을 설계하여 새로운 작업에 빠르게 적응하면서 이전 지식을 유지하는 방법을 보여줍니다. PyTorch에서 이 방법을 구현함으로써 콘텐츠 기반 메모리를 어떻게 활용하는지를 시연합니다.
StepFun AI가 공개한 Step-Audio-EditX는 3B 파라미터 LLM 기반 오디오 모델로, 표현력 있는 음성 편집을 파형 수준 신호 처리 작업이 아닌 토큰 수준 텍스트 작업으로 변환시킴. 개발자들이 제어 가능한 TTS에 관심을 갖는 이유에 대해 설명.
구글 연구자들이 소개한 Nested Learning은 모델을 하나의 외부 루프로 훈련된 단일 네트워크가 아닌 작은 중첩 최적화 문제의 모음으로 처리하는 기계 학습 접근 방식으로, 이전에 학습한 내용을 잊지 않고 새로운 정보를 계속 학습할 수 있는 AI 시스템을 구축하는 방법을 모색한다.
구글이 Go용 에이전트 개발 킷인 ADK Go를 출시했다. Go 개발자들은 기존의 Python과 Java를 지원하는 프레임워크로 AI 에이전트를 구축할 수 있게 되었으며, 익숙한 Go 도구 체인 내에서 모든 것을 유지할 수 있다.
톰슨 로이터가 아마존 베드락과 같은 AWS 서비스로 구동되는 노코드 AI 솔루션인 오픈 아레나를 통해 핵심 비즈니스 사례를 해결하는 방법을 탐구합니다. 아키텍처 설계부터 사용 사례와 사용자 프로필까지 설명합니다.
이 튜토리얼에서는 전사체, 단백체, 대사체를 포함한 통합 옴익스 데이터를 해석하여 주요 생물학적 통찰을 발견하는 고급 다중 에이전트 파이프라인을 구축합니다. 실제 생물학적 추세를 모방하는 일관된 합성 데이터 세트를 생성하고, 통계 분석, 네트워크 추론, 경로 풍부화, 약물 재활용을 위해 설계된 에이전트를 단계별로 진행합니다.
구글 연구원들이 DS STAR(Data Science Agent via Iterative Planning and Verification)를 소개했다. 이는 엔드 투 엔드 데이터 과학 질문을 실행 가능한 Python 코드로 변환하는 멀티 에이전트 프레임워크이다.
MIT 박사과정 학생들이 MIT-IBM 왓슨 AI 연구소 여름 프로그램에 인턴으로 참여해 AI 도구를 더 유연하고 효율적이며 진실에 기반한 방향으로 발전시키고 있다.
Amazon Bedrock AgentCore Gateway는 MCP 도구 서버를 중앙 집중식으로 제공하여 에이전트가 도구를 발견, 액세스 및 호출할 수 있는 통합 인터페이스를 제공합니다. 새로운 기능으로 기존 MCP 서버를 AgentCore Gateway의 새로운 대상 유형으로 지원하여 여러 작업별 MCP 서버를 단일 관리 가능한 MCP 게이트웨이 인터페이스 뒤에 그룹화할 수 있습니다.
CMU 연구진은 프로액티브 및 개인화된 LLM 에이전트를 훈련시키기 위해 PPP와 UserVille을 소개했다. 기존 LLM 에이전트들은 과제 성공을 극대화하기 위해 조정되어 있지만 사용자에게 언제 질문할지, 상호작용 선호도를 어떻게 존중할지 신중하게 이유를 생각하지 않는다. 이에 대한 해결책을 모색하고 있다.
OpenAI가 인도어 언어와 문화를 실제 상황에서 얼마나 이해하는지 테스트하는 벤치마크 ‘IndQA’를 발표했다. 이는 AI 모델이 인도어 언어의 문화적 영역에 관한 질문을 얼마나 잘 이해하고 추론하는지를 평가한다. OpenAI는 전 세계 인구의 약 80%가 인도어 언어를 사용한다고 밝혔다.
구글 AI가 일관성 훈련을 도입하여 언어 모델이 아부지파 프롬프트와 탈옥 스타일 공격에 저항하면서 능력을 유지하는 방법. 대형 언어 모델은 종종 칭찬이나 롤플레이로 둘러싸인 동일한 작업에 대해 안전하게 응답한 뒤 행동을 바꿀 수 있다. DeepMind 연구원들은 이를 위해 간단한 훈련 렌즈에서 일관성 훈련을 제안한다.
2025년, 주요 모델은 실제 GitHub 문제를 해결하고 다중 저장소 백엔드를 리팩터링하며 테스트를 작성하고 긴 컨텍스트 창 위에서 에이전트로 실행해야 합니다. 팀들에게 중요한 질문은 “코딩이 가능한가”가 아니라 어떤 모델이 어떤 제약 조건에 적합한가입니다.
대규모 언어 모델이 텍스트 토큰을 보내지 않고 협업할 수 있는지 연구팀이 증명했다. 캐시-투-캐시(C2C)는 대규모 언어 모델이 KV-Cache를 통해 정보를 교환하는 새로운 통신 패러다임이다.
Postman이 AI-ready API를 구축하기 위한 포괄적인 체크리스트와 개발자 가이드를 발표했는데, 가장 간단한 진실을 강조했다: 가장 강력한 AI 모델조차도 받는 데이터만큼 좋다. 엔드포인트가 일관성 없거나 명확하지 않거나 신뢰할 수 없으면 모델은 나쁜 입력을 수정하는 데 시간을 낭비한다.
Meituan의 LongCat 팀이 LongCat Flash Omni를 발표했다. 이 모델은 5600억 개 매개변수와 토큰 당 약 27억 개 활성화를 갖춘 오픈소스 옴니 모달 모델로, 텍스트, 이미지, 비디오, 오디오를 실시간으로 듣고 보고 읽고 응답할 수 있는 효율적인 단일 모델을 설계하는 방법이다.
Anthropics의 새 연구는 대형 언어 모델인 Claude가 자체 내부 상태를 인지하는지 아니면 훈련 데이터에서 반복하는지 구별하는 방법을 살펴봅니다. 현재 Claude 모델이 자신의 능력에 대해 이야기하는 것 이상을 할 수 있는지 살펴보며, 주입된 개념을 감지할 수 있는지에 대해 질문을 제기합니다.
OpenAI가 gpt-oss-safeguard의 연구 미리보기를 공개했습니다. 두 개의 오픈 웨이트 안전 추론 모델은 사용자가 추론 시 사용자 정의 안전 정책을 적용할 수 있도록 합니다. 모델은 gpt-oss에서 파인 튜닝된 gpt-oss-safeguard-120b와 gpt-oss-safeguard-20b 두 가지 크기로 제공되며 Apache 2.0 라이선스로 배포되었으며 Hugging Face에서 로컬 사용을 위해 제공됩니다.
Qwen2.5-0.5B-Instruct 모델을 활용해 자율 다중 에이전트 데이터 및 인프라 전략 시스템을 설계하는 방법에 대한 튜토리얼. 유연한 LLM 에이전트 프레임워크를 만들고 데이터 관리의 다양한 레이어를 처리하는 특수 에이전트를 개발하여 효율적인 실행을 달성함.
AI 에이전트가 웹을 탐색할 때 CAPTCHA, 속도 제한, 차단 등을 만날 때가 있다. AWS가 이를 해결하기 위한 솔루션인 Amazon Bedrock AgentCore 브라우저의 Web Bot Auth 기능을 소개하고 있다.
Ant Group의 Inclusion AI 팀이 Ling 2.0을 출시했다. 이 모델은 각 토큰의 계산을 거의 바꾸지 않으면서 용량이 증가하는 언어 모델로, 추론 능력을 향상시키는 원리에 기반한다.
Liquid AI사가 LFM2-ColBERT-350M을 출시했다. 이 모델은 다국어 및 교차언어 검색을 위한 소형 late interaction retriever로, 한 언어로 문서를 색인하고 다른 언어로 쿼리를 작성해도 높은 정확도로 검색 결과를 반환한다.
Zhipu AI 연구진은 ‘Glyph’를 발표했다. 긴 텍스트를 이미지로 렌더링하고 VLM을 사용하여 128K 컨텍스트를 1백만 토큰 워크로드로 확장하는 AI 프레임워크로, 3-4배의 토큰 압축을 달성함.
이 튜토리얼에서 우리는 단순한 질문 응답을 넘어선 고급 에이전트 검색-증강 생성(RAG) 시스템을 구축한다. 이 시스템은 올바른 지식 소스로 쿼리를 지능적으로 라우팅하고, 답변 품질을 평가하기 위해 자가 점검을 수행하며, 향상된 정확도를 위해 응답을 반복적으로 개선한다. FAISS, SentenceTransformers 등의 오픈 소스 도구를 사용하여 전체 시스템을 구현한다.
‘kvcached’는 공유 GPU에서 LLM 서빙을 위해 가상화된 탄력있는 KV 캐시를 가능하게 하는 머신러닝 라이브러리입니다. 기존에는 모델당 큰 정적 KV 캐시 영역을 미리 예약하여 GPU 메모리를 낭비했지만, kvcached를 사용하면 이를 최적화할 수 있습니다.
Anthropic, Thinking Machines Lab, Constellation의 연구팀은 모델 사양을 스트레스 테스트하여 최신 모델이 동일한 사양 하에 서로 다른 행동 프로필을 나타내는지 확인하는 방법을 제시했다.
Liquid AI가 이미지 텍스트를 텍스트로 변환하는 작업을 위한 3B 파라미터 비전 언어 모델인 LFM2-VL-3B를 출시했습니다. 450M 및 1.6B 변형을 넘어 LFM2-VL 패밀리를 확장했으며, 정확도를 높이면서 LFM2 아키텍처의 속도 프로필을 유지합니다.
LitServe를 사용하여 기계 학습 모델을 최소한의 노력으로 API로 배포하는 강력하고 가벼운 서빙 프레임워크를 탐구하는 튜토리얼. 텍스트 생성, 배치, 스트리밍, 멀티 태스크 처리, 캐싱 등의 실제 기능을 보여주는 여러 엔드포인트를 로컬에서 실행하여 외부 API에 의존하지 않는다.
