int8

りょうしか

ニューラルネットの重み・活性化を、より少ないビット数の数値で表現すること。

エフピーじゅうろく

16ビットで実数を表す浮動小数点数フォーマット。LLM 推論のデファクト精度。

イントフォー

4 ビット整数で重みを表す量子化。fp16 の 1/4 サイズ、ローカル LLM で多用される。

ビットネット いってんごじゅうはち

LLMの重みを {-1, 0, +1} の3値に量子化することで、log₂(3)≈1.58 bit/重み で表現できる手法。