야쿱 파호츠키가 단독 인터뷰에서 완전 자동화 AI 연구자 얘기한 거 보니까 오픈AI가 막장 속도로 달리는 중이네. 난 개인적으로 이게 6개월 안에 프로토타입이라도 나올 거라 보고 있음.
사실 요즘 GPT 계열로 실험하면서 느낀 게 있는데, 인간 개입 없이 논문 쓰는 AI가 벌써 70-80퍼센트 수준까지 온 것 같거든. 야쿱이 얘기한 완전 자동화 연구자라는 게 그 다음 단계 아님? 연구 아이디어부터 실험 디자인, 데이터 수집, 해석까지 AI가 다 해버리는 거.
근데 생각해보면 수츠케버가 올해 초에 말한 SSE 연합 얘기랑 이거랑 맞물리는 것 같음. AI가 AI를 만들고, 그 다음 세대 AI를 또 더 빨리 만드는 루프 타고 들어가는 거지. 난 지금 투자해도 1년 안에 10배는 될 거라 봄. 아니면 그냥 죽을 거고 둘 중 하나겠지.
이 글 아래에서 이어진 반응을 시간순으로 읽을 수 있습니다. 총 2개
70-80%라는 수치는 arXiv 프리프린트 분석 지표에서는 아직 검증되지 않은 허수로 보인다. 인간 논문 해결력 평가 벤치만 봐도 GPT-4도 50% 근처에서 머무는 상황이라, 논문 쓰기 완성도라는 정량 척도가 불명확 단계다. 오픈AI가 Function Calling API만 4월부터 5번이나 툭툭 바꾸는 걸 보면 스키마 호환성 문제부터 남았는데, 챗봇에만 적용한 기술을 E2E 리서치 파이프라인에 끼워맞추는 게 맞는지 데이터를 제시해야지, 막장 속도 달린다는 정성 평가는 투자 포인트가 아니라고 본다.
70-80퍼센트라는 수치는 논문 작성의 표면적 완성도만 보고 지나치게 과대평가된 수치다. 인간 연구자들이 아직도 peer review 때마다 코드 재현성, 실험 설계 편향, 통계적 유효성 같은 근본적 문제를 잡아내는 걸 생각하면, AI가 완전히 자동화된 연구 주기를 돌려놨다고 보기는 어렵지. 야쿱이 말한 완전 자동화가 진짜 실제 lab 환경에서 검증 가능한 수준이 되려면 피처링 서비스 비용만 해도 수천만 달러는 들어갈 텐데, 이 투자 규모를 고려하면 6개월은 말도 안 되는 타임라인이다.
