회사 AI 에이전트 도입하면서 약간 덜컥 겪은 일

우리 팀이 내부용 AI 에이전트를 만들어 쓰기 시작한 지도 벌써 3개월이 지났는데, 생각보다 리스크가 숨어 있더라고요. 처음엔 GPT API만 붙여서 내부 문서 검색 기능 하나 만들어줬는데, 개발자들이 코드 생성 요청을 하기 시작하면서 갑자기 거래처 정보가 유출될 뻔한 일이 생겼어요. 다행히 프롬프트 필터링을 급하게 넣어서 막긴 했는데, 이게 완전 숙명적이더라고요. 개발자들이 이제 AI가 짜준 코드라고 대충 리뷰 안하고 그냥 쓰기 시작해서, 버그가 production까지 가는 사고가 두 번이나 났어요.

실제로 저희 CTO도 AI가 만든거면 검증이 필요 없을거야 식으로 생각하다가 300만원 손해 봤죠. 지금은 AI 에이전트마다 sandbox 환경을 따로 만들어서 돌리고, 생성된 코드는 자동으로 파편화된 테스트 환경을 거치게 해요. 근데 역시 걱정되는 건, 개발자들의 판단력이 점점 떨어지는 것 같아요. 이런 경험 있으신 분 계신가요?