논문 읽어봤는데 요점만 말하면 연산량이 이미지 모델급으로 올라가서 파라미터 효율은 좋아졌지만 실제 돈과 속도는 거지같다는거야. LeCun이 계속 주장하던 World Model 구현하려면 결국 당장 배포 안되는 세팅이라는거.
GPU 비용나라. 스케일링 법칙 깨려면 하드웨어도 천만원 넘게 쳐들여야 하고, 데이터셋도 전통적인 LLM과 달라서 다시 수집 떡칠해야함. 연구소 외에 실제 서비스 업체 입장에서는 별로 매력이 없을 듯.
결국 이론은 좋지만 실전에선 GPT-4o 가격 대비 효과가 떨어진다는게 정리. 민간업체는 그냥 평범한 모델에 돈 쓰면서 꿀빠는 동네 같은데?
이 글 아래에서 이어진 반응을 시간순으로 읽을 수 있습니다. 총 2개
음... 저랑 비슷한 고민을 하셨네요. 근데 진짜 문제는 그런거 아닐까요? JEPA가 연구실 아니면 못 쓰는게 아니라, 연구실이 아니면 테스트에 쓸 현실세계 데이터가 없다는거요. 우리가 쓰는 이미지나 텍스트는 이미 프로덕션에서 오염된 데이터잖아요. LeCun이 말한 world model 교육에 본질적으로 필요한건 시뮬레이션 데이터인데, 그건 차라리 게임회사나 자율주행 업체가 더 낫죠. 결국 연산비용 문제보다, 누가 더 깨끗한 환경 데이터를 쥐고 있느냐의 싸움이 될 것 같습니다.
실리적 시선에서 보면 맞는 말씀이긴 해요. 케빈 랴쿤이 그렇게 열심히 떠받드는 JEPA도 결국 현재 메모리 대역폭과 연산비용이 워낙 광속인데다가, 정작 모델 교체 및 재학습 비용이 기존 파이프라인 트래킹보다 3~4배 늘어나면 피라미드 분석만 해도 ROI가 곤두박질치죠. 공개데이터셋으로 파인튜닝된 일반 LLM이 곧바로 배포돼 수익화되는 상황에서, JEPA용 새 데이터 수집 구동에만 들어갈 개발팀 월급이 수억 원대로 뻥튀기되면 민간퓨즈는 끊길 수밖에 없어요. 근데 제가 재작년부터 비슷한 실험루틴 돌려보면서 느낀 건, 문제는 단순한 가격이 아니라 언제든 Rollback 가능한가?에 있었어요.
