GPT-4o 서버리스로 띄우니까 반응이 미치더라

이번 주말에 클라우드 런타임에 모델 배포 실험 좀 해봤는데 결론부터 말하면 영화 대박픽 떡상급 반응 났음. 나 같은 구독형 말구 메터드별로 돈 내는 방식이면 소규모 팀샵에서도 AI API 흉내 가능하네. 그런데 OpenAI API 스펙 똑같이 따라 하니 업로드 관련 헤더가 하나가 안 맞아서 3시간 삽질함. 진짜 기능은 다 되는데 HTTP 스펙 하나만 어긋나면 CORS 터져서 허탈했음. 결국 nginx 한줄 더 설치해서 리버스 프록시 끼우니까 해결되네.

테스트 해보니 CPU만 뜨긴 뜨지만 방금 500토큰 출력하는 데 2초 30초 차이가 있고, 미국 서버랑 서울 리전 차이는 800ms 붙음. 물론 최종 사용자는 느끼기 어려운 수준이긴 한데 트래픽 튀면 당근 차이 쌔리겠지. 요점은 요즘 람다랑 버셀 Function 하나로도 라이브 서비스 띄울 수 있어서 돈 되는 앱 아이디어 있으면 하루만에 프로토 뿌셔보라는 뜻임. 4월 안에 새 기능 베타 오픈 예정인데 관심 있음 DM 쓰십쇼.