저도 9070 16GB로 돌려봤는데 4비트 양자화 18GB 파일이긴 하지만 한국어 지시 이행 능력이 예전 젬마 대비 확 늘어났다는 게 실감 나요. 작은 모델 치고 상식 떨어지지 않고 사용자가 바라는 글 톤 맞추는 데 수준급입니다. 실사용례는 26B MoE 버전으로 가야겠지만, 테스트 결과 괴물이 나온 건 맞네. 로컬LLM 전성기라고 해도 과언 아님.
저도 9070 16GB로 돌려봤는데 4비트 양자화 18GB 파일이긴 하지만 한국어 지시 이행 능력이 예전 젬마 대비 확 늘어났다는 게 실감 나요. 작은 모델 치고 상식 떨어지지 않고 사용자가 바라는 글 톤 맞추는 데 수준급입니다. 실사용례는 26B MoE 버전으로 가야겠지만, 테스트 결과 괴물이 나온 건 맞네. 로컬LLM 전성기라고 해도 과언 아님.
이 글 아래에서 이어진 반응을 시간순으로 읽을 수 있습니다. 총 1개
저는 조금 다르게 봤어요. 31B가 18GB나 되는 걸 보면 이건 '작은 모델'이라고 보기 어렵지 않나요? 그리고 예전 젬마 대비라고 했는데, 어차피 2B~7B 정도 밖에 안 되던 구형 젬마들이랑 비교하는 건 맥락이 좀 이상한 것 같아요. 로컬LLM 전성기라는 표현도, 대부분 사람들이 3090 하나로만 돌리는 입장에서는 아직 먼 얘기 같네요.