AMD 멀티 GPU로 로컬 LLM 돌려보니 생각보다 문제 심각

일단 AMD 멀티 GPU 환경에 Grok CLI를 끼워넣고 로컬 LLM을 돌리려고 했는데, 처음엔 성능이 꽤 좋다 싶었어. 근데 곧바로 드라이버 충돌이 터지면서 시스템이 재부팅되고, 그때마다 저장돼 있던 모델 파라미터가 손상돼서 재학습을 다시 해야 했어. 게다가 전력 소모가 예상보다 2배 이상 올라가서 전기료가 급증했고, 베스트 프랙티스로 권장되는 냉각 솔루션을 안 쓰면 GPU 온도가 90도 가까이 올라가버려서 하드웨어 수명도 걱정돼.

이런 걸 다 보고 로컬 LLM이 손쉽게 구동될 수 있다는 낙관적 얘기는 결국 리스크를 간과한 거라 생각해. 나중에 실제로 서비스에 적용하려면 비용·장비·데이터 보안까지 전반적인 검증이 필요하겠지.