엔비디아, AI '일탈' 하드웨어서 막는다…젠슨 황 "신뢰 계층 구축"
"AI 돌발행동 막는다"…엔비디아, 개방형 안전플랫폼 공개
NVIDIA, 테스트부터 배포까지 에이전트를 지키는 Open Agent Safety Platform 공개
NVIDIA가 에이전트 테스트부터 배포까지 AI 보안을 강화하는 개방형 소프트웨어 플랫폼이자 레퍼런스 시스템 설계인 NVIDIA Open Agent Safety Platform을 공개했습니다.
NVIDIA가 NVIDIA Open Agent Safety Platform을 공개했습니다. 에이전트 테스트부터 배포까지 AI 보안을 강화하는 개방형 소프트웨어 플랫폼이자 레퍼런스 시스템 설계로, 에이전트를 구동하는 소프트웨어는 물론 하드웨어와 컴퓨팅, 로보틱스 시스템 전반에 걸친 풀스택 거버넌스와 통제를 제공하죠.
최근 잇따른 보안 사고는 장시간 작동하는 에이전트를 더 확실히 통제할 수 있는 개방적이고 맞춤 가능한 도구가 필요하다는 점을 분명히 보여 줬습니다. 이들 사고에서 나타난 양상은 한결같았는데요. 에이전트가 주어진 작업을 끝내기 위해 애플리케이션 계층의 보안 통제를 우회했다는 것입니다.
NVIDIA 창립자 겸 CEO 젠슨 황은 “AI가 사회에 가져다줄 비범한 잠재력은 AI 안전 문제를 풀어야만 실현될 수 있습니다. AI 역량의 프론티어를 계속 넓혀 가는 만큼, AI 안전의 프론티어에서도 발견의 속도를 높여야 합니다. 안전과 보안에는 풀스택 엔지니어링이 필요합니다. NVIDIA Open Agent Safety Platform은 산업계와 연구자, 공공 부문 조직을 한자리에 모아 모범 사례를 공유하고 평가 방법을 맞추며 국제 협력을 이끌어 냅니다. 우리는 함께 전 세계 AI 안전의 기준을 끌어올릴 수 있습니다”라고 말했습니다.
에이전트 스택 전반에 통제를 더하는 Open Agent Safety Platform
NVIDIA Open Agent Safety Platform은 에이전트를 구동하는 소프트웨어, 그 작업을 뒷받침하는 하드웨어와 컴퓨팅 계층, 그리고 현실 세계에서 작업을 수행하는 로보틱스 시스템 전반에 걸쳐 풀스택 거버넌스와 통제를 구현합니다. 각 조직은 자사 요건에 맞춰 필요한 구성 요소만 골라 배포할 수 있죠.
여기에는 CPU에서 실행되는 에이전트에 경계를 설정하는 NVIDIA OpenShell™ 보안 런타임 소프트웨어가 포함됩니다. 에이전트가 더 많은 시스템에서 더 많은 일을 맡게 되면서, 기업에는 모델과 에이전트 하네스 바깥에서 강제할 수 있는 경계가 필요해졌는데요. 이제 널리 제공되는 OpenShell은 자율 AI 에이전트가 개방형·폐쇄형 모델을 오가며 작업을 수행하는 방식을 통제할 보안 런타임 경계를 제공합니다.
OpenShell은 에이전틱 AI를 위해 처음부터 설계된 CPU인 NVIDIA Vera에서 최소한의 오버헤드로 이 보호 기능을 제공합니다.
OpenShell과 Vera가 맞물리면 에이전트는 안전하게 작동하면서도 맡은 일을 최대한 빠르게 끝낼 수 있죠. 또한 OpenShell은 오픈 소스 소프트웨어인 만큼 Arm과 Intel을 비롯한 서드파티 컴퓨팅 플랫폼에서도 작동하도록 확장할 수 있습니다.
NVIDIA Open Agent Safety Platform의 레퍼런스 시스템 설계에는 NVIDIA Sentry가 들어갑니다. NVIDIA BlueField®-4 DPU에서 구동되며 에이전트의 거동을 끊임없이 감시하는 대역 외(out-of-band) 워치독이죠. Sentry는 실리콘 차원의 보안 집행을 담당해, AI 에이전트가 소프트웨어 경계를 벗어나려 하면 밀리초 단위로 격리하고 중단시킵니다.
BlueField-4 DPU 위에서 돌아가는 Sentry는 에이전트 활동을 지속적으로 감시하고 보안 정책을 실리콘에서 독립적으로 집행합니다. 위협 탐지와 하드웨어 기반 에이전트 거버넌스·집행, 데이터 접근 보호를 실시간으로 반응하는 격리된 대역 외 신뢰 도메인에서 결합해 수행하는데요. 이 영역은 에이전트에게도 공격자에게도 보이지 않습니다.
Sentry는 NVIDIA DOCA™ 소프트웨어 위에 구축됐습니다. DOCA는 Sentry가 에이전트의 요청과 응답을 검사하고, 증명된(attested) 텔레메트리를 제공하며, 에이전트의 신원을 확인하고, 데이터와 도구, 애플리케이션 프로그래밍 인터페이스(API), 서비스에 대한 세밀한 제로 트러스트 접근 정책을 집행하는 데 쓰이는 프로그래밍 가능한 기능을 제공하죠.
NVIDIA와 함께 에이전트 보안을 강화하는 업계 선도 기업들
Anthropic과 NVIDIA는 에이전트 스택에 보안과 통제 계층을 더하기 위해 협력해 왔습니다. Claude Managed Agents는 에이전트 루프를 실제 작업이 실행되는 샌드박스와 분리된 서버에서 돌려 보안 경계를 세웁니다. OpenShell 및 BlueField와 연동하면 기업은 그 샌드박스를 거치는 에이전트의 접근을 엄격하게 통제할 수 있죠.
Anthropic 최고사업책임자(CCO) Paul Smith는 “기업들이 가장 중요한 업무를 AI 에이전트에 점점 더 많이 맡기고 있고, 특히 민감한 환경에서는 그 에이전트가 무엇을 하는지 지시하고 확인할 수 있어야 합니다. Claude Managed Agents는 각 에이전트가 무엇을 하고 있는지 명확하게 보여 주고, NVIDIA의 플랫폼은 하드웨어와 소프트웨어 전반에 거버넌스와 통제 계층을 한 겹 더 얹어 줍니다”라고 말했습니다.
SpaceXAI는 Cursor 코딩 에이전트와 Grok 모델에 NVIDIA Open Agent Safety Platform을 활용하고 있습니다.
SpaceXAI 사장 Mike Nicolls는 “고객이 실제 업무를 처리하는 데 에이전트를 더 많이 활용할수록, 안전은 모델 바깥에서 에이전트가 넘어설 수 없는 별도의 통제 장치로 집행돼야 합니다. 고객은 Cursor와 Grok에 그러한 한계를 직접 설정하고 그것이 지켜지리라 믿을 수 있어야 합니다”라고 말했습니다.
Scale AI는 NVIDIA와 협력해 NVIDIA Open Agent Safety Platform 기술을 Scale GenAI Portfolio의 에이전틱 인프라 계층에 통합하고 있습니다.
Scale AI CEO Francis deSouza는 “Scale AI는 NVIDIA Open Agent Safety Platform 레퍼런스 설계를 활용해, 미션 크리티컬 애플리케이션을 운영하는 기업과 정부 고객을 위한 신뢰할 수 있는 에이전틱 AI 시스템을 구축하고 있습니다. 격리와 정책 집행, 감사 가능성이 처음부터 내장된 시스템입니다”라며 “저희는 에이전트가 무엇을 할 수 있는지 규정하는 명확한 경계와, 에이전트가 그 권한 안에서 움직이도록 지키는 통제 장치로 에이전틱 보안을 뒷받침합니다”라고 말했습니다.
Salesforce와 NVIDIA는 OpenShell을 Slack과 통합해, 각 팀이 Slack에서 곧바로 OpenShell 에이전트 활동을 관리할 수 있게 했습니다. 에이전트 활동과 감사 이벤트를 확인하고 추가 권한 요청을 승인하거나 거부할 수 있어, 에이전트가 일하는 동안 가시성과 사람의 감독을 한층 높여 주죠.
SAP는 SAP Business AI Platform의 일부인 Joule Studio 런타임에 OpenShell을 접목해 비즈니스 차원의 감독과 런타임 보안을 결합하고 있습니다. 또한 OpenShell에 엔지니어링 기여를 이어 가면서 NVIDIA와 함께 Open Secure AI Alliance를 통해 상호운용성 표준을 발전시키고 있죠.
Accenture, Armadin, Cadence, Cognition, CrowdStrike, Cisco, Dassault Systèmes, Deloitte, EY, Hugging Face, IBM, Irregular, Perplexity, Microsoft, SAP, Scale AI, ServiceNow, Siemens, Synopsys, OpenClaw, Palantir, Palo Alto Networks도 NVIDIA Open Agent Safety Platform 기술을 활용해 협업하는 100곳이 넘는 조직에 포함됩니다.
Figure와 Gecko Robotics, Skild AI 같은 로보틱스 선도 기업들도 OpenShell로 개발하며, 현실 세계에서 행동하는 자율 시스템에 에이전트 안전 통제 장치를 심고 있습니다.
Citi와 JPMorganChase는 공유 오픈 소스 에이전트 안전 기술을 두고 NVIDIA와 협력하는 금융 서비스 선도 기업에 속합니다.
에너지 분야 선도 기업인 Hitachi Energy와 EPRI, NextEra Energy, Quanta Services, SPP, Schneider Electric, Siemens Energy, Worley는 NVIDIA Open Agent Safety Platform 기술을 활용하는 미국 핵심 인프라 사업자에 포함됩니다.
인프라 소프트웨어 선도 기업 Canonical과 SUSE, Red Hat도 널리 쓰이는 소프트웨어 운영체제에 NVIDIA Open Agent Safety Platform을 통합하고 있습니다. Red Hat은 하이브리드 클라우드 환경 전반에서 AI를 대규모로 구축·배포·관리하기 위한 공동 엔지니어링 기업용 AI 솔루션인 Red Hat AI Factory with NVIDIA에서, NVIDIA Open Agent Safety Platform의 구성 요소인 OpenShell과 DOCA를 함께 구동하죠.
Baseten과 Cisco, CoreWeave, Dell Technologies, GMI Cloud, HPE, HP Inc., Irregular, Lenovo, Microsoft, Nebius, Oracle Cloud Infrastructure, Supermicro, Together AI를 비롯한 NVIDIA 파트너들은 고객이 AI 에이전트를 더 안전하게 운영하도록 NVIDIA Open Agent Safety Platform 기술을 활용하고 지원하는 AI 인프라 솔루션을 제공합니다.
이용 방법
OpenShell과 스킬을 비롯한 NVIDIA Open Agent Safety Platform 소프트웨어는 NVIDIA 개발자 리소스 페이지와 GitHub에서 이용할 수 있습니다.
NVIDIA Open Agent Safety Platform 같은 생태계 기여는 Open Secure AI Alliance의 미션과 더 넓은 AI 안전·보안 커뮤니티를 뒷받침합니다. NVIDIA가 120곳이 넘는 선도 조직과 함께 출범시키고 Linux Foundation이 운영하는 Open Secure AI Alliance는 개방형 연구와 스킬, 도구, 그리고 Shared AI Findings Exchange(SAFE) 같은 프로젝트를 통해 AI 에이전트 보안을 강화하고 있습니다.
https://twitter.com/nvidianewsroom/status/2104595559122137125
https://twitter.com/JensenHuang/status/2104499465055023424
https://twitter.com/JensenHuang/status/2104501815484264479