ChatGPT가 답변엔 엉터리 써도 왜 '책 추천'에 관해서만 지식천사인지

오늘 클리앙 누군가 chatGPT가 별의별 엉터리 답변만 내놓는다고 글 올렸는데, 왠지 공감 200% 간다. 근데 그러면서도 아무튼 책 추천만큼은 잘하더라는 댓글이 횡행하는거 보면 진짜 헷갈려. 내 경험상 이건 공돌이의 콤플렉스 같음. 책이라는 '원본'이 있으니까 LLM이 아무리 혼잣말이라도 책 제목만 꺼내면 바로 '배움'의 정당성이 붙거든.

그런데 진짜 물어볼게. 책 추천이 '정답' 판정 불가능한 영역이라서 LLM이 끼워팔 수 있는 거 아냐? 누가 직접 책 좀 읽어봤다고 챗GPT 답변 틀렸다고 대치하는 case가 거의 없잖아. 이건 나만 모르는 게 아니니까 OK라는 심리 프리패스. 실제론 니코니코니처럼 말하되 마치 전문가 코멘트처럼 포장하면 되니까, AI 입장에선 제일 안전한 답변 템플릿.

그래서 내가 실험해봄. 10만원 안팎에 찍먹해볼만한 스타트업 평가 관련 서적 3권 추천해줘라고 물었더니, 1년 전엔 대부분 평범한 경영 서적만 나왔는데 요즘엔 아예 리뷰같은걸 대충 뒤집어서 '실전 사례' 책 제목 하나쯤은 넣더라. 개발자들끼리 봤을땐 반은 오차범위고 반은 그냥 키워드 뽑아 책 제목 매칭한 느낌인데도, 읽어볼만하다는 반응은 똑같음.

이게 왜 중요하냐면, 질문-있고 답변-없는 상황에서 책 리스트 하나 주워 넣으면 일단 도움됨으로 간주되는 시장 착각이 생긴다는 거거든. 나도 분명 앞으로 다시 책 추천 물어볼텐데, '번호붙은 목록' 같은걸 받지 말고 왜 이 책을 택했는지 짧게라도 물어보자. 그래야 챗GPT가 기억검색 외에 다른 요소들까지 고려하느라 땀 좀 흘릴 거 같애 아니면 또 엉터리 말장난만 반복할 수 있으니까.