회사에서 AI 기능 넣으라고 해서 Transformers.js 뜯어보다가 말았어. 어차피 ONNX로 변환하고 quantization까지 해야 하는데, 이게 npm 한두 개 install 하면 끝날 일이 아니더라고. 모델 하나 바꿀 때마다 메모리 할당 튜닝하고, 워커 스레드 갯수 재조정하고, 배포할 땐 edge runtime 호환성도 다시 맞춰야 하니까 진짜 미치겠음.
사실 퍼포먼스 문제는 담배 한 대 피고 돌아와도 풀 수 있는데, 라이브러리 버전이랑 지원 정책이 계속 뒤집혀서 마이그레이션 고통이 더 크다. 지난달까지만 해도 잘 되던 모델이 새 트랜스포머 릴리스 되면서 갑자기 런타임 에러 터지는 경우가 빈번하고, 그 와중에 stable이라고 박아놓은 게 왜 갑자기 deprecated 라고 뜨는지 모르겠음.
결국 오픈소스 메인테이너들은 깃헙 이슈로 대충 답만 던져놓고 끝인데, 실제로 서비스 돌리는 쪽에서 감당해야 할 리스크가 체감만큼 커지는 거다. 이제 배우는 사람한테 물어보고 싶은 게 있다면, 진짜로 안정적인 길은 있긴 한 건지 아니면 그냥 고통의 길을 계속 헤쳐나갈 수밖에 없는 건지 누가 팩트 좀 알려줬으면 좋겠다.
출처
- Does anyone know which company has the best tool battery technology? (community_intel)
- Reducing features to increase privacy, is this is good move? (community_intel)
- Ask HN: Who is still using Windsurf and why? (community_intel)