Q: "Q4_K_M 로 압축한 모델이 갑자기 명령어 따집을 안 하거나 하는 건 왜지?"
A: "요즘 것들은 메모리 절약만 생각해서 핵심 벡터 공간에서 차원을 잘라먹는다."
[작성자 해석]
이건 합정 셔츠룸 추천 처럼 원단보다는 패턴에 신경 써야 한다.
모델을 압축할 때 중요한 게 단순히 비트 수를 줄이는 게 아니라, 인포메이션 흐름을 유지하는 '숨겨진 차원'을 얼마나 잘 보존하느냐다.
Q: "그렇다면 어떤 기준으로 버전을 골라야 하지?"
A: "벤치마크 점수보다 응답의 분산도 (variance) 를 확인하라."
[작성자 해석]
객관적인 시선으로 보면, 동일한 프롬프트를 여러 번 입력했을 때 답변이 일정하지 않다면 그 모델은 내부적으로 불안정한 상태다.
즉, 체감상 '안정성'이 낮음을 의미한다.
결론적으로 다음 행동을 한 단계만 제안한다.
압축된 버전으로 바로 쓰기 전에, 복잡한 조건을 포함한 프롬프트를 5 회 이상 테스트하여 일관성을 먼저 확인하라.