터너리 본사이

PrismML이 Qwen 모델의 가중치를 -1, 0, +1 세 값으로 압축해 만든 저비트 언어 모델 시리즈로, 27B급 모델을 6GB 안팎으로 줄여 노트북이나 휴대폰에서 오프라인으로 돌릴 때 쓴다. 같은 회사의 1비트 버전보다 조금 크지만, 0이라는 값을 하나 더 두어 원본 품질을 더 많이 지킨다.

품질은 PrismML이 자체 벤치마크로 잰 원본(FP16) 대비 유지율이다. 본사이 2는 Qwen3.8 27B 기반이다.

가중치 하나당 약 1.7비트만 쓰면서도 비전 입력·도구 호출·262K 토큰 컨텍스트는 원본 그대로 유지한다.

'2비트'라는 이름이 실제 크기와 맞다

흔히 쓰는 '2비트' 양자화 모델은 일부 층을 더 높은 정밀도로 남기기 때문에 실제로는 훨씬 크다. 본사이는 임베딩부터 출력층까지 전부 저비트로 바꿔서 이름과 실제 크기가 거의 같다. 같은 27B라도 메모리가 적은 기기에 들어갈지가 여기서 갈린다.

LM Studio·llama.cpp·MLX로 바로 받는다

가장 쉬운 방법은 LM Studio에서 prism-ml/bonsai-27b를 받는 것이다. 직접 서버를 띄우려면 Hugging Face의 prism-ml/Ternary-Bonsai-27B-gguf를 llama.cpp로 실행하고, 맥에서는 MLX 버전을 쓰면 된다. 휴대폰에서는 atomic.chat 앱으로 iPhone과 안드로이드에서 돌려 볼 수 있다. 1.7B·4B·8B 같은 작은 터너리 모델도 있어 기기 사양에 맞춰 고르면 된다.

쓰임새는 인터넷 없이 긴 문서를 분석하거나, 로컬 코딩 에이전트에 도구 호출을 맡기거나, JSON 형식 출력이 필요한 작업이다. 함께 제공되는 드래프터 층으로 추측적 디코딩을 켜면 품질 손실 없이 생성 속도가 빨라지고, 4비트 KV 캐시 덕분에 긴 컨텍스트도 기기 안에서 감당할 수 있다.

정밀한 세부 정보는 다시 확인해야 한다

원본보다 조금 약해지는 부분은 주로 도구 호출과 지시 따르기 쪽이다. 실제 코드베이스 분석 비교에서도 터너리 버전은 핵심 구조는 잘 짚었지만 구체적인 줄 번호를 지어내는 모습이 보였다. 정확한 위치나 숫자가 중요한 작업은 결과를 검증하는 단계를 붙이는 게 좋다. 또한 PrismML은 변환·학습 방법을 자세히 공개하지 않았고 성능 수치도 대부분 자체 측정이라, 내 작업으로 직접 비교해 보는 것이 가장 확실하다.

데이터를 밖으로 내보내지 않는 로컬 작업에 주로 쓴다

가장 흔한 건 노트북에서 오프라인 로컬 모델로 쓰는 방식이다. 문서나 코드를 클라우드로 보내지 않아도 27B급 모델을 쓸 수 있고, 정확한 줄 번호나 숫자가 필요한 결과만 따로 확인하면 된다.