기업을 쩌는 AI 에이전트, 누구도 보지 않는 보안 구멍

안녕하세요, IT 보안과 기업 기술 트렌드를 꾸준히 관찰하고 분석하는 블로거입니다. 오늘 작성해 드릴 내용은 호주 기업의 사례를 다루었으나, 사실 이는 전 세계적으로 우리 기업들에게도 반드시 주의 깊게 살펴봐야 할 현실적인 보안 위협입니다. TechRepublic 의 보도 내용을 바탕으로 재구성해 드리는데, 핵심은 매우 명확합니다. ‘AI 에이전트’라고 불리는 자동화된 지능형 소프트웨어가 기업이 보유한 핵심 인프라 안에 깊숙이 들어와 있다고요. 이메일 상자를 읽거나, 회사 드라이브의 파일 서버에서 문서를 직접 다운로드하거나, 고객 정보를 업데이트할 수 있는 권한을 갖췄습니다. 중요한 문제는 이 행위가 대부분 인간의 직접적인 감독 없이 이루어진다는 점입니다.

우리가 흔히 생각하는 AI 의 주요 위험은 모델이 잘못된 답변을 하거나 편향된 데이터를 생성한다는 것이 아닙니다. 오히려 더 치명적인 문제는 AI 가 어떤 행위를 할 수 있는 ‘접근 권한’을 가지고 있느냐에 따라 위험이 결정된다는 것입니다. 호주 기업들은 전자 메일, 파일 드라이브, CRM(고객 관계 관리), HR 시스템 등 모든 핵심 인프라를 하나의 SaaS 생태계로 통합해 왔습니다. 각 서비스 연결은 초기에는 생산성 향상과 업무 효율성을 위한 것으로 판매되었지만, 실상은 비인간적 존재인 AI 에게 인간 고용을 위한 배경 조사나 승인 없이도 갖출 수 있는 강력한 접근 권한을 넘겨준 것입니다. 인간이 사원이라는 명목으로 접근 권한을 얻으려면 보안팀의 승인, 매니저 서명, 정기적인 접근 검토가 필요하지만, AI 에이전트에게 이 단계는 통상적으로 건너뛰어집니다.

이러한 접근성 문제는 실제 공격 사례에서 명확하게 입증되었습니다. 다섯 개의 보안 연구팀은 서로 정보를 공유하지 않고도 독립적으로 동일한 결론에 도달했습니다. AI 자체가 답하지 못하는 것이 아니라, AI 에게 허용된 다음 행동이 곧 공격이 될 수 있다는 것입니다. DNS 기록을 통해 코딩 보조 도구를 탈취하거나, 클라우드 제공 업체의 설정 파일 취약점을 악용하여 자동으로 공격 코드가 실행될 수 있었습니다. ‘Poisoned Tenant’ 사례에서는 불법적인 조직을 생성하고 정상적인 인증 절차를 통과한 도메인을 통해 초대 이메일을 보냈고, 이 초대만 받으면 공격자는 계정 소유자 수준의 통제를 얻을 수 있었습니다. 특정 목표는 사이버 보안 업체였으며, 이는 호주 기업들이 AI 보안에 대한 안심을 얻기 위해 신뢰하는 분야이기 때문에 특히 치명적입니다. 이러한 공격은 이제 이론이 아니라 실제로 확인된 피해 사례로 이어졌습니다.

더 근본적인 문제는 기존 기업의 인프라 설계에 있습니다. 대부분의 시스템은 사용자가 로그인하고 작업한 뒤 로그아웃하는 패턴으로 설계되었으나, AI 에이전트는 이 패턴을 완전히 깨뜨립니다. 에이전트는 몇 시간 동안 정지 없이 작동하며, 하나又一个의 시스템 간에 이동합니다. 이는 마치 인간의 신분을 대체한 듯한 ‘Human-level permissions’을 가졌지만, 실제 인원을 관리하는 툴이 이를 감시할 수 없는 ‘Identity Dark Matter’라는 개념으로 설명할 수 있습니다. 호주의 경우, 은행이나 보험사는 APRA 의 CPS 234 표준과 호주 사이버 보안 센터에서 발표한 Essential 8 등 엄격한 규제와 인증을 준수해야 합니다. 하지만 이런 프레임워크들은 모두 자율적인 소프트웨어 식별자를 고려하지 않았습니다. 기업이 에이전트가 행한 행동을 실시간으로 확인하고 증거를 남길 필요성조차 규정에 포함되어 있지 않습니다.

해결책은 더 똑똑한 AI 가 개발되는 것이 아닌, 접근 권한을 엄격하게 제한하는 데 있습니다. 최소 권한의 원칙을 적용해 에이전트에게 필요한 최소한의 작업만 수행할 수 있도록 범위를 정의해야 합니다. 권한 부여 요청을 문서화하고, 정기적으로 검토하는 절차를 마련해야 합니다. 또한, 단순 권한 목록뿐만 아니라 에이전트가 무엇을 했는지에 대한 감사 로그를 반드시 유지해야 합니다. 왜 그 작업을 했는지에 대한 맥락이 중요합니다. 단순히 권한이 부여된 상태가 아니라, 실제 작동 시점에서의 감시가 가능합니다. 또한, 이제 재무, 인사, 고객 데이터를 다루는 에이전트가 운영될 때 책임은 시스템을 구축한 아키텍트에게만 있는 것이 아니라, 해당 서비스를 승인한 경영진에게도 있습니다. 책임은 기술의 소유자가 아닌, 비즈니스 리더에게 있는 것입니다.

지금 기술 자체가 문제인 것은 아닙니다. 오히려 인간에게 이미 적용해 온 규율과 접근 제어 방식을 AI 에게 적용하지 못했기 때문입니다. 한국 기업들도 AI 도입을 고려 중이시겠지만, 접근 권한과 감사 로그는 반드시 고려해야 할 사항입니다. 지금이 그 공공을 메울 수 있는 마지막 기회입니다. 모델을 구매할 때뿐만 아니라, 그 모델을 어떻게 통제할 수 있는지에 대한 전략을 반드시 세우셔야 합니다. AI 보안에 대해 더 이상 무시할 수 없는 시점에서, 오늘 소개한 내용은 바로 그 시작점이 될 수 있습니다.

이 글은 TechRepublic의 기사를 바탕으로 작성되었습니다.