ARM맥 NPU로 Transformers.js 돌려보니 진짜 미쳤음

회사에서 버려진 M1 맥북 하나 줍고 집에 와서 바로 실험. 요즘 브라우저에서도 Whisper tiny 모델이 30초만에 끝나길래 WTF 했거든. 그래서 ONNX 런타임 올려서 Electra 한 번 돌려봤는데 진짜 무슨 일이야. CPU 400% 가던걸 NPU로 넘기니까 팬 소리도 안 나고 전력도 5W 차이 나네.

이러고 보니 작년까지 GPU 클러스터 돌리던 게 완전 구닥다리처럼 느껴져. 올해 초에 30만원은 줬던 클라우드 크레딧도 이제 안 써도 되겠는데. 노트북 뚜껑 덮고 ARM 계산 유닛 하나로도 괜찮은 모델 서비스 가능하다는 게 실감나. 과연 올가을에 M4 나오면 다들 서버고 뭐고 그냥 노트북으로 다 풀어버리는 거 아닐까.