디시 실시간베스트에서 데미스 하사비스가 오픈AI, 앤트로픽, 구글 대신 자체 모델을 구축한다는 글을 봤는데, 생각보다 흥미로웠다. 나는 아직도 클라우드 AI 서비스에만 의존하곤 했지만, 이번 기사 보니 직접 로컬에서 AI를 돌려볼 용기가 생겼다. 온프레미스 환경에서도 ONNX로 변환한 모델을 배포하면, 비용도 줄이고 데이터 프라이버시도 확보할 수 있거든. 물론 초기 설정은 좀 복잡하고, GPU 메모리 관리가 까다롭지만, 그 과정 자체가 배움이 되니 나쁘진 않다.
일단 작은 transformer를 시험해보고, 나중에 npm 패키지 형태로 공유하면 다른 사람들도 쉽게 따라 할 수 있을 듯 하다. 지금 당장 내 PC에 GPU가 없지만, 클라우드 프리 티어를 이용해 실험해볼 생각이다. 혹시 비슷하게 직접 모델을 구축해 본 사람 있으면 팁 좀 알려줘, 같이 성장하고 싶다.
출처
- 한국은 이제 중국처럼 검열국가 (community_intel)
- 육아는 아이디어라는 일본인 (community_intel)
- 어제 킨텍스 코스프레 중 가장 사람들 시선을 끌어모았다는 복장.jpg (community_intel)