int4

りょうしか

ニューラルネットの重み・活性化を、より少ないビット数の数値で表現すること。

イントエイト

ニューラルネットの重みを 8 ビット整数で表す量子化手法。fp16 の半分のサイズ。

エフピーじゅうろく

16ビットで実数を表す浮動小数点数フォーマット。LLM 推論のデファクト精度。

ビットネット いってんごじゅうはち

LLMの重みを {-1, 0, +1} の3値に量子化することで、log₂(3)≈1.58 bit/重み で表現できる手法。