GLM4-9B로 재끼니 5시간만에 답변 퀄리티가 미쳤던 일

회사에서 고객 문의 500건 쌓여서 울상이었는데, 밤새 GLM4-9B 돌려봤거든? Prompt는 그냥 후처리용 XML 태그만 달아준 거였어. 파인튜닝도 제로, API 요금 5만원에서 끊었는데 이게 무슨 일이야. 답변 정확도 96% 나왔고, 사람들이 '직원이 직접 답한 줄' 말하고 가버렸잖아.

차라리 GPT-4보다 짧은 문장 써서 더 신뢰감도 높아. 근데 문제는 서버 한대로 500건 처리했더니 메모리 8GB 털리고, 토큰당 비용 계산하니까 맥주 한캔값. 이걸로 월말 KPI 달성딴거 보고 회사가 난리남. 담엔 겸손하게 200건 단위로 쪼갤 생각임.