量子化

ビットネット いってんごじゅうはち

LLMの重みを {-1, 0, +1} の3値に量子化することで、log₂(3)≈1.58 bit/重み で表現できる手法。

エフピーじゅうろく

16ビットで実数を表す浮動小数点数フォーマット。LLM 推論のデファクト精度。

イントエイト

ニューラルネットの重みを 8 ビット整数で表す量子化手法。fp16 の半分のサイズ。

イントフォー

4 ビット整数で重みを表す量子化。fp16 の 1/4 サイズ、ローカル LLM で多用される。