집에서 AI 모델 돌리는 거 너무 간단해졌는데?

한동안 머신러닝 모델 돌리려면 클라우드 GPU 무조건 써야 된다고만 생각했는데, 최근 들어 내 집 컴퓨터로도 충분히 돌릴 수 있는 상황이 되더라. 사실 요즘 ONNX 런타임이랑 Transformers.js 조합하면 브라우저에서도 상당한 효율이 나오는 거 있지.

나는 이제 단순히 코드 실험용도로 가볍게 CPU만 쓰면서도 꽤나 복잡한 모델을 돌려보는 중. 특히 스마트홈 연동 스크립트에서 작은 ONNX 모델 몇 개만 붙여놔도 예상보다 월등한 성능 뽑는 게 재밌더라. 실은 CPU만으로도 15만원 짜리 렘만 약간 업글해서 리얼타임 감지 모델 돌리는게 가능했어.

물론 아직은 온전히 고성능 모델은 GPU 없이 버거운데, 하지만 기술이 발전하면서 점점 기회가 커지는거 같애. 난 이미 작은 규모로 시작해서 현재 수익 모델화까지 도달했으니까, 계속 발전만 한다면 앞으로는 더 큰 거 할 수 있지 않을까?