대형 언어 모델(LLMs)이 단순한 텍스트 생성기에서 계획 수립, 추론, 자율적인 행동이 가능한 시스템으로 진화함에 따라, 그들의 능력과 동반되는 위험이 상당히 증가하고 있다. 기업들은 자동화를 위해 빠르게 AI를 도입하고 있지만, 이러한 추세는 조직을 새로운 도전에 노출시킨다: 목표 불일치, 프롬프트 주입, 의도치 않은 행동, 데이터 누출 등이다. 이러한 위험에 대응하기 위해 NVIDIA는 오픈소스 안전 레시피를 제공하고 있다. 이 레시피는 AI 시스템의 안전을 보장하고 신뢰할 수 있는 AI 에이전트를 구축하는 데 도움이 될 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>