메인 프로덕트에 스냅샷 요약 기능을 넣으려는데 매번 huggingface 모델을 내려받다 보니 cold start만 30초 넘게 잡아먹는다. 3달 전부터 실험 중인 ONNX로 변환해서 캐싱해두면 3초까지 줄긴 했지만, 아직도 사용자는 왜 버벅거리냐고 투덕인다. 웹 앱 전체를 서버리스로 켜야 해서 GPU 인스턴스 상주는 선택지가 없다. 혹시 요즘 뜨는 agentic workflow처럼 미리 prewarm 시켜두는 트릭이라도 있나?
아니면 작은 모델이라도 transformers. js로 완전히 브라우저에 때려박는 게 현실적인 답인지 헤매고 있다. 경험자 팁 좀 borrow 한다.
출처
- Ask HN: Are startup job titles evolving in the agentic era? (community_intel)
- What's the Secret to Successful Cofounders? (community_intel)
- Anyone see AI tool for interior design of room with just photos? (community_intel)