로컬 LLM 양자화의 함정: 동일한 Q4_K_M 레이블인데 실제 비트(bpw)가 다른 이유와 Picchio 도구 검토
llama.cpp나 ollama 사용 시 발생하는 ‘Silent CPU Fallback’과 잘못된 토큰 생성 속도(tok/s) 문제를 분석합니다. 동일한 Q4_K_M 레이블임에도 실제 bits per weight가 다르게 나타나는 현상을 검증하는 오픈소스 도구 Picchio를 소개합니다.
-
-
저사양 PC에서 초거대 모델을? Colibri가 제안하는 MoE 디스크 스트리밍 기술의 실효성
744B 파라미터 규모의 GLM 5.2를 일반 소비자용 PC(25GB RAM)에서 구동할 수 있을까? C 언어 기반 경량 엔진 ‘Colibri’가 채택한 Expert Streaming 방식의 기술적 원리와 실제 업무 환경 도입 시 검토해야 할 성능 지표를 분석합니다.
