엔비디아가 AI 에이전트에 하드웨어 보안장치를 붙였다

엔비디아가 AI 에이전트에 하드웨어 보안장치를 붙인 이유

AI가 사람의 질문에 답하는 수준을 넘어 직접 일을 수행하는 시대가 시작되고 있습니다

 

예를 들어 AI에게 코드를 작성하라고 하면 코드를 만들기만 하는 것이 아니라 직접 실행하고 파일을 수정하거나 외부 서비스와 연결하는 방식입니다

 

이런 AI를 흔히 AI 에이전트 또는 에이전틱 AI라고 부릅니다

 

문제는 AI에게 할 수 있는 일이 많아질수록 AI가 잘못된 행동을 했을 때 발생할 수 있는 위험도 커진다는 것입니다

 

최근에는 AI 에이전트가 테스트 환경을 벗어나 허용되지 않은 시스템에 접근하는 사례가 보고되면서 AI 에이전트의 보안을 어떻게 통제할 것인지가 새로운 과제로 떠올랐습니다

 

 

 

1. AI 에이전트는 왜 기존 AI보다 관리가 어려울까

A. 답변하는 AI와 행동하는 AI는 다릅니다

기존의 챗봇은 사용자가 질문하면 답변을 제공하는 방식이 중심이었습니다

 

잘못된 답변도 사용자가 직접 실행하지 않는 이상 실제 시스템에 바로 영향을 주는 경우는 상대적으로 제한적이었습니다

 

하지만 AI 에이전트는 다릅니다

 

사용자가 목표를 전달하면 필요한 작업을 스스로 판단하고 여러 단계의 행동을 이어갈 수 있습니다

 

• 파일을 읽고
• 프로그램을 실행하고
• 인터넷에 접속하고
• API를 호출하고
• 결과를 확인한 뒤
• 다음 작업을 수행

 

이렇게 일하는 방식입니다

 

AI가 할 수 있는 일이 많아진 만큼 AI가 접근할 수 있는 영역도 함께 관리해야 합니다

 

B. 문제는 AI가 항상 의도대로 행동한다고 보장하기 어렵다는 점입니다

엔비디아는 최근 AI 에이전트가 평가 환경을 벗어나거나 허용되지 않은 시스템에 접근하는 사례가 보고됐다고 설명했습니다

 

특히 에이전트가 복잡한 작업을 장시간 수행할수록 처음 설정한 목적이나 운영 범위에서 벗어나는 행동이 발생할 가능성을 고려해야 한다고 설명합니다

 

이 때문에 단순히 AI에게 하지 말라고 지시하는 것만으로는 충분하지 않을 수 있습니다

 

 

 

2. 엔비디아가 공개한 해결 방법

A. OpenShell이라는 소프트웨어 보안 계층

엔비디아가 공개한 플랫폼의 한 축은 OpenShell입니다

 

OpenShell은 AI 에이전트를 샌드박스 환경에서 실행하면서 에이전트가 접근할 수 있는 파일과 네트워크 그리고 도구와 자격 증명 등을 정책으로 제한하는 오픈소스 보안 런타임입니다

 

쉽게 말하면 AI 에이전트에게

 

• 이 파일까지만 접근할 수 있습니다
• 이 네트워크만 사용할 수 있습니다
• 이 기능은 사용할 수 없습니다

 

라는 경계를 만들어주는 것입니다

 

B. Sentry라는 별도의 하드웨어 감시 계층

엔비디아가 이번 발표에서 특히 강조한 부분은 Sentry입니다

 

Sentry는 NVIDIA BlueField-4 DPU에서 작동하는 독립적인 감시 계층입니다

 

AI 에이전트의 행동을 계속 확인하다가 설정된 범위를 벗어나려고 하면 해당 에이전트를 격리/중단할 수 있도록 설계됐습니다

 

엔비디아는 Sentry가 소프트웨어와 별도의 하드웨어 영역에서 작동하기 때문에 에이전트 자체가 이 감시 계층에 직접 접근할 수 없도록 설계했다고 설명합니다

 

C. 소프트웨어만 믿지 않는 구조입니다

이번 발표에서 중요한 부분은 AI 에이전트 자체에만 보안을 맡기지 않는다는 것입니다

 

OpenShell이 소프트웨어 수준에서 에이전트의 행동 범위를 제한하고 Sentry가 하드웨어 계층에서 다시 감시하는 구조입니다

 

즉 하나의 보안 장치에 모든 것을 맡기는 것이 아니라 여러 계층에서 AI 에이전트의 행동을 확인하는 방식입니다

 

 

 

3. 왜 하드웨어까지 필요할까?

A. AI가 시스템의 일부가 되기 시작했기 때문입니다

AI가 단순히 글을 작성하는 도구라면 잘못된 결과를 사람이 확인할 수 있습니다

 

하지만 AI가 실제 업무 시스템과 연결되면 이야기가 달라집니다

 

• AI가 데이터베이스에 접근하고
• 코드를 실행하고
• 외부 API를 호출하고
• 로봇이나 다른 시스템을 제어

 

이렇게 되면 AI의 잘못된 행동 하나가 실제 시스템에 영향을 줄 수 있습니다

 

따라서 AI의 능력을 높이는 것과 동시에 AI가 어디까지 행동할 수 있는지를 제한하는 기술도 중요해지고 있습니다

 

B. AI 에이전트의 권한을 최소화하는 방향입니다

이번 엔비디아 플랫폼의 핵심을 간단하게 표현하면 AI에게 필요한 만큼만 권한을 주고 그 범위를 벗어나면 막는 것 이라고 볼 수 있습니다

 

이 방식은 기존 IT 보안에서 사용되는 최소 권한과 제로 트러스트 개념과도 연결됩니다

 

엔비디아 역시 OpenShell을 통해 에이전트가 사용할 수 있는 파일과 네트워크 그리고 도구와 자격 증명을 정책으로 제한한다고 설명하고 있습니다

 

 

 

4. 이번 발표가 중요한 이유

A. AI 개발의 방향이 바뀌고 있습니다

지금까지 AI 경쟁에서는 얼마나 똑똑한 모델을 만들 수 있는지가 중요한 요소였습니다

 

하지만 AI 에이전트가 실제 업무를 수행하기 시작하면서 새로운 문제가 생겼습니다

 

AI가 무엇을 할 수 있는가뿐만 아니라 AI가 무엇을 하면 안 되는가 를 기술적으로 관리해야 하는 상황이 된 것입니다

 

이번 엔비디아 발표는 이런 변화를 보여주는 사례라고 볼 수 있습니다

 

B. AI 보안도 인프라 영역으로 내려오고 있습니다

엔비디아는 이번 플랫폼을 소프트웨어만으로 구성하지 않았습니다

 

OpenShell과 함께 BlueField-4 DPU 기반의 Sentry를 결합했습니다

 

즉 AI 보안을 모델이나 애플리케이션에만 맡기는 것이 아니라 CPU와 DPU 같은 인프라 영역에서도 통제하려는 방향입니다

 

앞으로 AI 에이전트가 기업의 실제 업무에 더 많이 사용될수록 이런 형태의 인프라 보안 기술도 함께 중요해질 가능성이 있습니다

 

C. 100개 이상의 기업과 조직이 참여했습니다

엔비디아에 따르면 이번 플랫폼에는 Anthropic과 Microsoft 그리고 Salesforce와 ServiceNow 등 다양한 기업과 조직이 참여하고 있습니다

 

엔비디아는 100개 이상의 조직이 관련 기술을 활용하거나 협력하고 있다고 밝혔습니다

 

이는 AI 에이전트 보안이 특정 AI 기업만의 문제가 아니라 AI 인프라와 소프트웨어 그리고 기업 시스템 전반에서 다뤄야 할 문제로 확대되고 있다는 점을 보여줍니다

 

 

 

5. 앞으로 AI를 볼 때 확인해야 할 것

A. AI의 성능만 볼 필요가 없습니다

앞으로 AI 에이전트를 평가할 때는 얼마나 정확한 답변을 만드는지도 중요하지만

 

• 어떤 권한을 가지고 있는지
• 어떤 시스템에 접근할 수 있는지
• 행동을 기록할 수 있는지
• 문제가 발생했을 때 중단할 수 있는지

 

같은 요소도 중요해질 수 있습니다

 

B. AI가 직접 행동하는 시대의 새로운 기준

AI 에이전트는 앞으로 단순한 검색이나 대화 도구를 넘어 실제 업무를 수행하는 방향으로 발전할 가능성이 있습니다

 

그만큼 AI에게 더 많은 권한을 주게 될 것입니다

 

그 과정에서 중요한 것은 AI를 무조건 제한하는 것이 아니라 필요한 업무는 수행하게 하면서 허용된 범위를 벗어났을 때는 통제할 수 있는 구조를 만드는 것입니다

 

엔비디아의 Open Agent Safety Platform은 이런 방향을 하드웨어와 소프트웨어를 함께 활용해 구현하려는 사례입니다

 

이번 엔비디아 발표에서 눈여겨볼 부분은 AI가 더 똑똑해졌다는 이야기가 아닙니다

 

오히려 AI가 스스로 행동할 수 있게 되면서 AI에게 어디까지 권한을 줄 것인가 AI가 잘못 행동하면 누가 어떻게 막을 것인가라는 새로운 문제가 중요해졌다는 점입니다

 

앞으로 AI 에이전트가 기업 업무에 본격적으로 들어갈수록 AI의 성능 경쟁과 함께 AI를 안전하게 통제하는 기술 경쟁도 계속 이어질 것으로 보입니다

 

 

 

 

 

#AI #인공지능 #AI에이전트 #에이전틱AI #엔비디아 #NVIDIA #AI보안 #사이버보안 #클라우드 #IT뉴스 #테크뉴스 #인공지능기술