ChatGPT 엉터리 답변에 빡쳐서 알아본 반전 사용법

며칠 전 프로젝트 문서 정리하다가 ChatGPT한테 물어봤더니 틀린 답변 던져주길래 진짜 답답했다. 근데 클리앙에서 '왜 이러냐' 글 보니까 나만 그런 게 아니었네.

생각해보니 내가 질문 자체를 엉망으로 던졌던 거다. 번역해줘 같은 막연한 말보다는 원문이랑 원하는 톤, 예상 청자까지 명확히 써야 품질이 확 뛰어. 실제로 prompt에 원문 200자 + 수신자가 프론트엔드 초보 + 존댓말 요청 이렇게 넣으니까 오역이 거의 안 생기더라.

거기다 클라이언트 업무용 챗봇 만들면서 테스트했더니 낚시성 질문은 또 빈도가 높더라. X 제품 써봤냐 뭉뚱그려 물으니까 홀라당 틀렸다가, X 제품 v2.3 버전 배포 환경 A/B 테스트 결과 어떻게 나왔어?처럼 질문을 디테일하게 바꾸니까 95% 정확도로 답이 툭 나오더라.

이건 단순 문답도 아니고 요즘 거의 프로덕션 단계야. 답변 품질 관리용 체크리스트 만들어서 회사에 공유해봤는데 팀 전체가 생산성 30%는 올라간 느낌이다. 요점은 AI한테 공부 시키는 게 아니라 내가 질문 정교화하는 기술을 먼저 갖춰야 된다는 거다. 아직도 가끔 글피고 틀릴 때 있긴 한데, 그때마다 prompt 로그 보면 80%는 내가 질문 지문 모호한 경우더라.