두갤에서 본 AI 토이 프로젝트, 실제로 해봤어요

두갤에서 'AI 토이' 라는 글을 보고 바로 내 PC에 Transformers. js를 설치해봤다. 일단 npm으로 패키지를 받아서 간단한 챗봇을 띄우니, 몇 초 만에 응답이 돌아와서 놀랐음. 모델을 ONNX 포맷으로 변환해서 웹으로 배포하려고 시도했는데, 변환 과정이 생각보다 매끄러워서 좀 안심이 되더라.

근데 브라우저에서 로드할 때 메모리 사용량이 꽤 커서, 아직 최적화가 필요할 듯. 그래도 이 정도만 해봐도 작은 프로젝트가 금방 실용 서비스로 바뀔 수 있다는 점에 큰 기대가 생김. 앞으로는 더 복잡한 파인튜닝도 해보고, 친구랑 같이 실시간 협업 툴도 만들어볼까 생각 중이다.