パラメータ数
パラメータすう
parameter count / model size
DEFINITION
LLM が持つ学習可能な重みの総数。一般に「N B」(10 億単位)で表記される。
DETAIL — 詳しく
Llama-3 8B は 80 億、Llama-3 70B は 700 億、Llama-3.1 405B は 4050 億パラメータ。多いほど表現力が高いが、メモリと推論コストも比例。精度(fp16 / int4 / 1.58bit など)×パラメータ数 でメモリ消費量が決まる。