허깅페이스에 올라온 4비트 양자화 버전 돌려봤는데, 생각보다 VRAM 먹는 양이 예상치보다 낮음. 지금 내 4090으로도 풀프레임 배치 4개까지는 버틸 듯. 아직 블로그 벤치나 LMSYS 레더는 없긴 한데, 프롬프트 따 본 결과 편향 제거(abliterated) 태그 먹은 게 확실히 눈에 보임. 말투가 훨씬 중립적이라 창작용으로 쓰기는 편하더라.
근데 아직 한글 태스크는 이전 버전 대비 얼마나 좋아졌는지는 더 써봐야 알 듯. 일단 지금 추측으론 GPU 없는 친구들도 맥북 M 시리즈 MLX 프레임워크로 괜찮게 쓸 수 있을 정도로 최적화 잘 된 편이니, 재미로 돌려보기엔 손색 없음.