本文へスキップ
totonoe.tech

AIを整える

専門

埋め込みサイズを整える。

= 文章をAIが扱う数字に変えたときの「容量」

埋め込み(Embedding)が初めての方は、先に そもそも埋め込み(Embedding)とは・どんな場面で使うか をどうぞ。

アニメで見る — 文をベクトルにするしくみ 開くと1ステップずつ動きます
📝

文章

「猫」

📄 「猫」
⚙️

埋め込みモデル

text-embedding-3-small

ぐるぐる変換
🔢

ベクトル

意味の座標(1536次元)

[0.21, -0.74, …]
🅰️

文A

「猫」

🗺️

ベクトル空間

意味の地図

🐱 猫
🐈 ネコ(近い)
🚗 自動車(遠い)
🅱️

文B

「ネコ」/「自動車」

STEP 1

※ イメージ図です。下の表で、実際のモデル別に次元・容量・コストを比べられます。

ベクトル数

量子化(ストレージ)

想定トークン数(コスト計算用)

1チャンクあたりの平均トークン数(既定: 500)。
ベクトル数 × このトークン数で API コストを計算。

埋め込みモデル比較

モデル flat 埋め込みコスト
text-embedding-3-small Matryoshka・コスパ最強 — —
text-embedding-3-large Matryoshka・高品質 — —
text-embedding-ada-002 レガシー・新規は3-smallへ — —
voyage-3 OpenAIキラー・コンテキスト32K — —
voyage-3-large 高品質志向 — —
embed-multilingual-v3.0 100+言語・日本語◎ — —
embed-english-v3.0 英語特化 — —
BGE-M3 オープン・日本語◎・密+疎+ColBERT — —
multilingual-e5-large オープン・100+言語 — —
nomic-embed-text-v1.5 Matryoshka・オープン — —
jina-embeddings-v3 Matryoshka・タスク特化LoRA — —

※ 次元の * は Matryoshka 対応モデル(次元を途中で切れる)。 flat = ベクトル本体のみ。HNSW は +50% のグラフオーバーヘッド込み。 コストは「ベクトル数 × トークン数 / 1M × $/M tokens」で算出(オープンソースモデルは無料)。

そもそも埋め込み(Embedding)とは

文章の「意味」を、数字の並びに置き換えたもの。

埋め込み(Embedding)は、文章を数百から数千個の数字の並び(ベクトル)に変換する技術です。意味が近い文章は近い数字になるので、キーワードが一致しなくても、意味の近さで文章を探せます。この数字の個数が次元です。

図書館の本を、題名の五十音順ではなく「内容の近さ」で並べた地図にするようなものです。探したい内容の近くを見に行けば、似た本が見つかります。次元が多いほど細かく表せますが、保存に必要な容量や費用も増えます。

どこで・どんな場面で使うか

  • 社内文書やマニュアルを意味で検索するとき(RAG)

    質問に近い資料を探して AI に渡し、社内の情報に基づいた答えを作らせます。

  • 似た問い合わせを探すとき

    過去の問い合わせの中から、内容の近いものを見つけて対応の参考にします。

  • 似た文書や重複を見つけるとき

    表現が違っても、中身の近い文書をまとめて確認できます。

  • 記事や商品をおすすめするとき

    いま見ているものと意味の近いものを提示できます。

  • ベクトルを保存する容量や費用を見積もるとき

    文書の量と次元から、データベースの大きさの見当をつけます。

知らないと何が困るか

  • 保存容量と費用の見積もりが漏れる。文書が増えるほど、ベクトルの数と容量が増えていきます。
  • 途中でモデルを変えると、作り直しになる。別のモデルで作った数字は、そのままでは混ぜて比べられません。
  • 次元数だけでモデルを選んでしまう。次元が大きいほど良いとは限りません。目的に合うかを確かめる必要があります。

上のツールで、文書の量と次元数を入れて、保存に必要な容量や費用の目安を確かめてみてください。

個別ページ

モデル別のストレージ試算ページ

1モデルだけの次元・容量を確かめたい・共有したいときは、各モデルの個別ページへ。 次元数とストレージ試算をまとめた 11 モデルぶんのページを用意しています。

このツールについて

OpenAI・Cohere・Voyage・BGE-M3 などの埋め込みモデルを、次元・コスト・ストレージで比較。 ベクトル数を入れれば、量子化別の必要容量とインデックス込みのサイズが一目で出ます。

OpenAI・Cohere・Voyage・BGE などの埋め込みベクトル次元・ストレージ・コストを比較。RAG設計の容量見積もりに。

🔰 かんたんに言うと

文章をAIが扱う「数字の列(ベクトル)」に変える話。その容量や次元数を見積もります。

主な機能

  • 11モデルの次元比較
  • 文書数×次元×float型のストレージ計算
  • API/セルフホストのコスト比較
  • RAG設計の前提整理

よくある質問

Q. Matryoshka 表現学習って何?

A. OpenAI text-embedding-3 や Nomic / Jina の新世代モデルは、1つの埋め込みベクトルから「上位256次元」「上位512次元」のように途中で切り取っても品質を保てるよう訓練されています。ストレージ・検索速度を稼ぐために、用途に応じて次元削減できる仕組みです。

Q. fp16 / int8 / binary 量子化はどれだけ効く?

A. fp32 を基準(×1)として、fp16 ×0.5、int8 ×0.25、binary ×0.03。100万ベクトル × 1536次元の場合、fp32 で 6.1 GB → fp16 で 3.1 GB → int8 で 1.5 GB → binary で 0.19 GB。Hammingベクトル検索なら binary が高速で、精度低下は最小限(再ランキング併用が定石)。

Q. インデックス(HNSW/IVF/Flat)の容量は?

A. Flat = ベクトルそのまま(×1)。IVF はクラスタ重心追加で +約10%。HNSW はグラフリンク追加で +約50%。検索速度は HNSW > IVF > Flat の順で速く、容量と速度のトレードオフ。

Q. 日本語ならどのモデルがいい?

A. クラウドなら voyage-3 / cohere-multilingual-v3 / OpenAI 3-small が手堅い。オープンソースなら BGE-M3(密+疎+ColBERT のハイブリッド検索)か multilingual-e5-large。RAG なら BGE-M3 を試してから他と比較するのが速いです。

入力値はURLの「#」以降に入るためサーバーには送信されません。リンクを開くと同じ状態を復元します。

続けて整える

このツールの解説記事

データの時点:2024年ごろのモデルが中心(OpenAI・Voyage・Cohere・BGE・Nomic・Jina)

データの更新予定の一覧

totonoe.tech を運営する株式会社Koinobori は、法人向けの研修サービス「NOBORIBA®」も運営しています。 ここで手を動かした内容を、講師から教わる形の研修です。このページの道具は無料のまま、登録もいりません。

運営サイト

私たちが運営するサイト