저사양 GPU로 거대 언어 모델(LLM) 구동하기: AirLLM을 활용한 70B 모델 추론 도입 검토 가이드
고가의 고성능 GPU 없이도 단일 4GB VRAM 환경에서 70B 규모의 LLM을 추론할 수 있게 해주는 오픈소스 도구, AirLLM를 분석합니다. AI 자동화 및 스타트업 개발 환경에서의 실질적인 활용 가능성과 성능 한계를 검토합니다.
-
-
로컬 LLM 양자화의 함정: 동일한 Q4_K_M 레이블인데 실제 비트(bpw)가 다른 이유와 Picchio 도구 검토
llama.cpp나 ollama 사용 시 발생하는 ‘Silent CPU Fallback’과 잘못된 토큰 생성 속도(tok/s) 문제를 분석합니다. 동일한 Q4_K_M 레이블임에도 실제 bits per weight가 다르게 나타나는 현상을 검증하는 오픈소스 도구 Picchio를 소개합니다.
-
저사양 PC에서 초거대 모델을? Colibri가 제안하는 MoE 디스크 스트리밍 기술의 실효성
744B 파라미터 규모의 GLM 5.2를 일반 소비자용 PC(25GB RAM)에서 구동할 수 있을까? C 언어 기반 경량 엔진 ‘Colibri’가 채택한 Expert Streaming 방식의 기술적 원리와 실제 업무 환경 도입 시 검토해야 할 성능 지표를 분석합니다.
