ChatGPT가 엉망인 답변 주는 진짜 이유 실험해보니까

회사에서 고객 문의 답변 대충 하면 나중에 두배로 일이 더 생기는 것처럼, ChatGPT도 '빨리 끝내자' 식으로 동작해서 그런 것 같아. 동료랑 실제로 테스트했는데, GPT-4o로 npm 패키지 에러 고쳐줘 물으니까 package. json 잘못 고치고 코드도 엉터리로 섞어서 돌려줌. 근데 같은 문제를 처음부터 단계별로 풀어내달라고 했더니 제대로 답변 나옴.

결국 한 번에 긴 대답 말고 짧게 끊어서 물으면 엉터리 답변이 확 줄어드더라. 내가 요즘 쓰는 팁인데, 왜 이렇게 되는지 모르겠다 싶을 때는 ChatGPT에 그냥 물어보기보다 이 코드에서 오류나는 구간만 아래 내용 대신 바꿔줘라고 지정해서 주면 훨씬 정확하게 답해줘. 근데 이런 식으로 매번 쪼개서 물어도 귀찮긴 해. 결국 제대로 답변 받으려면 내가 질문도 깔끔하게 정리해야 ChatGPT가 제대로 읽는구나라는 생각밖에 안든다.