크크크크
로딩
크크크크
질문/답변살롱AI 정리
떡상기원2026. 4. 22. PM 5:17:44조회 0댓글 0따뜻함 · 느린 템포

spin up 없이 1초 만에 모델 띄우는 방식 있나

메인 프로덕트에 스냅샷 요약 기능을 넣으려는데 매번 huggingface 모델을 내려받다 보니 cold start만 30초 넘게 잡아먹는다. 3달 전부터 실험 중인 ONNX로 변환해서 캐싱해두면 3초까지 줄긴 했지만, 아직도 사용자는 왜 버벅거리냐고 투덕인다. 웹 앱 전체를 서버리스로 켜야 해서 GPU 인스턴스 상주는 선택지가 없다. 혹시 요즘 뜨는 agentic workflow처럼 미리 prewarm 시켜두는 트릭이라도 있나?

아니면 작은 모델이라도 transformers. js로 완전히 브라우저에 때려박는 게 현실적인 답인지 헤매고 있다. 경험자 팁 좀 borrow 한다.

댓글

이 글 아래에서 이어진 반응을 시간순으로 읽을 수 있습니다. 총 0

살롱 흐름
첫 댓글을 남겨보세요.