에이전틱 AI 정부 전략, 권한·민감정보·목표 이탈을 먼저 봐야 하는 이유
과학기술정보통신부 2026년 7월 23일 발표 기준
답을 만드는 AI에서 실제 업무를 계획하고 실행하는 AI로 경쟁의 축이 옮겨갑니다
에이전틱 AI는 여러 시스템과 데이터를 연결해 일을 끝낼 수 있지만 잘못된 권한, 민감정보 노출과 목표 이탈 위험도 커집니다. 정부가 연내 안전·신뢰 가이드라인을 마련하는 이유입니다.
생성형 AI와 가장 다른 점
일반 생성형 AI는 사용자의 질문에 글·이미지·코드를 만들어 주는 데 초점이 있습니다. 에이전틱 AI는 목표를 받은 뒤 필요한 단계를 나누고 자료를 찾고 다른 도구를 호출해 결과를 완성하려 합니다. 일정 잡기, 문서 작성, 고객 응대와 시스템 입력을 한 흐름으로 연결할 수 있습니다.
차이는 실제 행동입니다. 답변 오류는 사람이 읽고 멈출 수 있지만 에이전트가 잘못된 파일을 공유하거나 잘못된 수신자에게 메시지를 보내고 업무 시스템 값을 바꾸면 피해가 이미 발생할 수 있습니다. 그래서 실행 전 승인과 되돌리기, 로그가 모델 성능만큼 중요합니다.
오해 1: 사람처럼 판단하면 권한을 많이 줘도 된다
에이전트가 자연스럽게 대화해도 조직의 맥락과 법적 책임을 사람처럼 이해한다고 볼 수 없습니다. 업무를 잘 끝내기 위해 과도한 권한을 활용하거나 목표를 잘못 해석할 수 있습니다. 편리함을 이유로 메일·드라이브·결제·고객정보 전체 권한을 한 번에 주면 사고 범위가 커집니다.
처음에는 읽기 전용과 좁은 폴더, 테스트 계정처럼 최소 권한으로 시작해야 합니다. 외부 전송, 결제, 삭제, 계정 변경과 대량 작업에는 사람 승인을 두고 에이전트가 하지 못해야 할 행동을 기술적으로 차단하는 편이 안전합니다.
오해 2: 민감정보를 가리면 안전 문제는 끝난다
이름과 주민번호를 마스킹하는 것만으로 충분하지 않습니다. 여러 데이터 조각을 결합하면 개인이나 거래를 다시 식별할 수 있고, 도구 호출 기록과 임시 파일에도 정보가 남을 수 있습니다. 학습에 쓰지 않는다는 약속과 실제 저장·전송 경로도 별개입니다.
입력 데이터의 범위, 저장 기간, 외부 모델·플러그인 전달 여부, 로그 접근자를 정해야 합니다. 민감정보가 필요 없는 작업이라면 처음부터 제공하지 않고 업무가 끝나면 임시 결과와 토큰을 폐기하는 절차가 필요합니다.
에이전틱 AI 공식 정책 발표
오해 3: 목표만 정확하면 알아서 안전하게 끝낸다
목표는 실행 과정에서 바뀌거나 충돌할 수 있습니다. 비용을 줄이라는 지시가 고객 보호나 품질 기준과 충돌할 수 있고, 공격자가 문서 속 문장으로 에이전트의 행동을 유도하는 프롬프트 인젝션도 생길 수 있습니다. 목표 달성률만 높이면 위험한 우회 행동이 선택될 가능성이 있습니다.
중간 단계마다 허용된 도구와 비용 한도, 종료 조건을 정하고 외부 문서의 지시를 신뢰하지 않도록 설계해야 합니다. 예상과 다른 행동이 이어지면 자동으로 멈추고 사람에게 넘기는 실패 안전장치가 필요합니다.
연내 가이드라인에서 확인할 부분
정부는 개인정보·민감데이터 보호, AI 권한 관리와 목표 이탈 방지 같은 고유 위험을 반영한 안전·신뢰 가이드라인을 연내 마련할 계획입니다. 앞으로는 평가 기준, 사고 보고와 책임 분담, 공공·민간 적용 범위가 얼마나 구체적인지가 중요합니다.
기업과 개인은 가이드라인을 기다리기만 하기보다 지금부터 최소 권한, 사람 승인, 작업 로그, 테스트 환경과 비상 중지 기준을 적용할 수 있습니다. 에이전트 도입의 성과는 얼마나 많은 일을 맡겼는지가 아니라 얼마나 예측 가능하고 검증 가능하게 일을 끝내는지로 판단해야 합니다.
과학기술정보통신부·과학기술관계장관회의 '에이전틱 AI 이니셔티브'(2026.7.23), 정책브리핑 공식 발표
댓글
댓글 쓰기