用語集
まず短い定義を、その後に詳しい説明を載せています。用語同士がリンクでつながっています。
基礎知識
- Hugging Face
- Hugging Face はほとんどのオープンモデルが公開されているウェブサイトで、各モデルにはファイル、ライセンス、モデルカード、ダウンロード数を掲載したページがあります。
- オープンウェイト(Open weights)
- オープンウェイトモデルとは、学習済みのパラメータ(重み)が公開されている AI モデルで、誰でもダウンロードして実行できます。通常は利用条件を定めたライセンスが付きます。
- コンテキストウィンドウ(Context window)
- コンテキストウィンドウとは、モデルが一度に考慮できるテキスト量の上限で、トークン単位で測られます。あなたのプロンプトとモデル自身の回答の両方が含まれます。
- ソブリンAI(Sovereign AI)
- ソブリンAIとは、計算資源やデータからモデル本体まで、国や組織が自らの管理下で構築・ホスト・統治できるAIのことです。
- トークン(Token)
- トークンは、言語モデルが読み書きする小さなテキストのかたまり(多くは単語か単語の一部)で、モデルは長さや速度をトークン単位で測ります。
- パラメータ
- パラメータはモデル内部にあって学習時に調整される数値で、その数(7B や 70B など)がモデル規模の一般的な指標になります。
- 機械翻訳(Machine translation)
- 機械翻訳は、テキスト、音声、画像内の文字をある言語から別の言語へ訳すソフトウェアです。今日のオープンモデルは、汎用モデルを出発点に翻訳専用に学習したものが主流です。
- 強化学習(RL)
- 強化学習は、正解やテスト合格のような良い結果に報酬を与えることでモデルを訓練します。例文を模倣させるのとは違う方法です。
- 推論(Inference)
- 推論とは、学習済みモデルを実行して出力を得ること、たとえばプロンプトに答えさせることで、「モデルを学習させる」ことの対になる概念です。
モデルとアーキテクチャ
- AI エージェント
- AI エージェントとは、モデルがツールを呼び出して多段階のタスクを計画・実行するシステムです。コードの実行、ウェブ検索、ファイル編集などを行います。
- OCR と文書解析
- OCR は文字の画像をテキストに変換します。文書解析はさらに一歩進んで、表、数式、グラフ、読む順序を再構築します。多くは Markdown として出力します。
- テキストエンコーダー(Text encoder)
- 画像や動画の生成モデルでは、テキストエンコーダーはプロンプトを生成器が使える数値に変える独立した言語モデルであり、ダウンロード量とメモリ使用量を増やします。
- テキスト音声変換(TTS)
- テキスト音声変換モデルは書かれたテキストを話し声のオーディオに変えます。短いサンプルから声をコピーできるモデルも多くあります。
- デンスモデル(Dense model)
- デンスモデルはすべてのトークンの処理に全パラメータを使います。一部のパラメータだけを有効化する混合専門家(MoE)モデルとは異なります。
- ベースモデル(Base model)
- ベースモデルは事前学習の素の出力で、指示に従うことや会話することをまだ学んでおらず、通常はファインチューニングの出発点になります。
- マトリョーシカ埋め込み(Matryoshka embeddings)
- マトリョーシカ埋め込みは、ベクトルの先頭部分だけでも単独で機能するように学習されているため、ベクトルを短く切って保存容量と検索時間を節約できます。
- マルチモーダルモデル
- マルチモーダルモデルは、テキスト、画像、音声、動画など複数の種類のデータを、入力・出力のいずれか、またはその両方として扱えます。
- リランカー(Reranker)
- リランカーは、質問と各検索結果を一緒に読んで、検索結果の短いリストに再スコアを付けます。埋め込みだけより遅いですが、より正確です。
- ループトランスフォーマー(Looped transformer)
- ループトランスフォーマーは、自分の層の一部をトークンごとに何度も繰り返し実行するため、パラメータを増やさずに計算量を増やせます。
- 意思決定モデル(Decision model)
- 意思決定モデルは状況と質問のリストを読み込み、テキストを書く代わりに、許可された各回答に対して確率を返します。
- 音楽生成
- 音楽生成モデルは、テキストによる説明(多くの場合は歌詞も)を音声へ変換します。ボーカル入りの完全な曲、インストゥルメンタル、リアルタイムの音楽ストリーム、効果音などです。
- 音声認識(ASR、音声文字起こし)
- 音声認識はASRや音声文字起こしとも呼ばれ、話された音声を書かれたテキストに変換します。
- 拡散モデル(Diffusion model)
- 拡散モデルはランダムなノイズから出発し、ノイズを一歩一歩取り除いていくことで画像や動画を生成します。
- 効率的アテンション(スパース、線形、ハイブリッド)
- 効率的アテンションの設計では、見るトークンを減らしたり過去を圧縮したりすることで、標準的なアテンションよりはるかに少ないメモリと計算で、非常に長い入力を読めます。
- 視覚言語モデル(VLM)
- 視覚言語モデルは画像(多くの場合動画も)とテキストを一緒に読めるため、写真、スクリーンショット、文書ページについて質問できます。
- 蒸留(Distillation)
- 蒸留は、より小さな「生徒」モデルに大きな「教師」モデルを模倣させる学習手法で、サイズはごく小さく保ちながら教師の能力の多くを引き継げます。
- 推論モデル(Reasoning Model)
- 推論モデルは、最終的な答えを出す前に、見えるかどうかは別として「思考」フェーズで問題を一歩一歩掘り下げます。
- 専門家の混合(MoE)
- 混合専門家モデルは多くの専門特化したサブネットワークを含み、トークンごとにそのうちの少数だけを使うため、非常に大きくても高速に動けます。
- 埋め込みモデル(Embedding model)
- 埋め込みモデルはテキストや画像などのデータを、意味を表す数値の列に変換します。これにより、意味の近い項目どうしが近い位置に並びます。
- 話者ダイアリゼーション(話者ラベル)
- ダイアリゼーションは、録音の中で誰がいつ話したのかを割り出し、話者1や話者2のように、発話の区間ごとに話者ラベルを付けます。
ハードウェアとメモリ
- GGUF
- GGUF は llama.cpp およびそれを基盤とするツールが使う単一ファイルのモデル形式で、量子化された重みと実行に必要な情報を 1 つのファイルにまとめます。
- KVキャッシュ
- KV キャッシュは、会話のそれまでのトークンをモデルが覚えておくためのメモリで、コンテキスト長に伴って増えていきます。
- VRAM
- VRAMはグラフィックスカード上のメモリです。重みをメモリに収めないとモデルは速く動かないため、GPUがどのモデルを載せられるかはVRAMで決まります。
- ユニファイドメモリ(Unified memory)
- ユニファイドメモリは、Appleシリコンなど一部のチップが採用する設計で、CPUとGPUが1つのメモリプールを共有するため、大きなモデルがその大部分を使えます。
- 三値重み(Ternary weights、1.58ビット)
- 三値重みはモデルの各重みを -1、0、+1 の3つの値のいずれかに限定するため、16ビットではなく重み1つあたり2ビット未満で済みます。
- 推測デコーディングとマルチトークン予測(Speculative decoding)
- 推測デコーディングは、小規模なドラフトモデルが先の複数トークンを推測し、それをフルモデルが一度に検証することで、テキスト生成を高速化します。
- 精度(BF16、FP8、INT4)
- 精度とは、モデル内の各数値を格納するのに使うビット数のことで、16 ビットの BF16、8 ビットの FP8、4 ビットの INT4 などがあります。ビット数が少ないほど、モデルは小さく、速くなります。
- 量子化
- 量子化は、モデルの重みをより少ないビット(たとえば 16 の代わりに 4)で保存することで、メモリ使用量を削減し推論を高速化します。品質はわずかに犠牲になります。
- 量子化対応トレーニング(QAT)
- 量子化対応トレーニング(QAT)は、学習の途中から低精度の重みに慣れさせ、4 ビットでの品質低下を、後から圧縮したモデルより小さく抑える手法です。
ライセンス
- OpenRAIL(責任ある AI ライセンス)
- OpenRAIL は、商用を含めてモデルの利用・改変・共有を認める一方、あらゆるコピーと派生物に禁止用途のリストを添付することを求めるライセンス群です。
- オープンソース AI
- Open Source Initiative(OSI)の定義によれば、オープンソース AI とは、自由に使用・研究・改変・共有できる AI システムであり、重みとコード、トレーニングデータの詳細情報がすべて公開されています。
- ゲーテッドモデル(Gated model)
- ゲーテッドモデルとは、Hugging Face でダウンロードする前にログインして利用規約に同意する、あるいはアクセス申請が必要なオープンモデルのことです。
- パーミッシブライセンス
- Apache 2.0 や MIT のようなパーミッシブライセンスは、条件が非常に少なく、通常は表示を残すだけで、モデルの利用・改変・販売ができます。
- 地域制限(Territory restriction)
- 地域制限はライセンスが有効な地域を制限します。除外された国や地域でモデルを利用することはライセンスで認められません。
- 売上上限(Revenue cap)
- 売上上限はライセンスの条件の 1 つで、一定の収入を下回ればモデルは無料で使え、上回ると別途合意が必要になります。
- 非商用ライセンス
- 非商用ライセンスでは、研究・学習・個人プロジェクトでのモデル利用は認められますが、収益を目的とした利用は認められません。
モデルの使い方
- LoRA(低ランク適応)
- LoRA は「低ランク適応(low-rank adaptation)」の略称で、モデルの全パラメータを変更する代わりに、追加した少数の重みを学習することでファインチューニングを行います。
- MTEB(埋め込みベンチマーク)
- MTEB(Massive Text Embedding Benchmark、大規模テキスト埋め込みベンチマーク)は、検索、分類、クラスタリングなど多くのタスクで埋め込みモデルを採点するものであり、その公開リーダーボードはモデル比較の定番の手段です。
- OmniDocBench
- OmniDocBench は文書解析のベンチマークで、多様な種類の PDF ページをテキスト・表・数式へ変換するモデルの能力を採点します。
- OpenAI 互換 API
- OpenAI 互換 API とは、OpenAI API と同じリクエストを受け付けるサーバーのことで、OpenAI 向けに書かれたアプリが代わりにオープンモデルを使えます。
- エージェンティックコーディング(Agentic coding)
- エージェンティックコーディングとは、モデルが開発者のようにソフトウェアに取り組むことです。コードベースを読み、ファイルを編集し、コマンドやテストを実行し、タスクが完了するまで作業を続けます。
- エージェントメモリ(Agent memory)
- エージェントメモリは、AI エージェントが事実、好み、過去の経験をセッションをまたいで保持できるようにし、毎回空白のコンテキストから始めなくて済むようにする仕組みです。
- オンデバイス AI(On-device AI)
- オンデバイス AI とは、モデルをクラウドではなく自分のスマホ、ノート PC、小型ボード上で動かすことを指します。データは手元に留まり、オフラインでも動作します。
- コンピュータ操作エージェント(Computer-use agent)
- コンピュータ操作エージェントはスクリーンショットを見て、クリック、入力、スクロールといった人のようにコンピュータを操作し、場合によってはシェルコマンドやコードも実行します。
- サンプリングステップ数
- サンプリングステップ数は、拡散モデルがノイズを画像や動画へ変えるまでに繰り返す処理の回数です。ステップが少ないほど速く結果が出ますが、通常は細部やバラエティがやや失われます。
- セルフホスティング(Self-hosting)
- セルフホスティングとは、ベンダーのAPIを呼び出す代わりに、自分のPCやレンタルGPUサーバーなど、自分で管理するハードウェア上でモデルを実行することです。
- ツール呼び出し(Function calling)
- ツール呼び出しを使うと、モデルがプログラムに検索や計算機などの関数の実行を依頼し、その結果を回答に活用できます。
- ハルシネーション(Hallucination)
- ハルシネーションとは、AI モデルが自信たっぷりに述べる、誤りのある、あるいはでっち上げの主張のことです。
- ファインチューニング(Fine-tuning)
- ファインチューニングは、事前学習済みモデルの学習を自分のサンプルで続けることで、特定のタスク、スタイル、分野でより良い振る舞いをさせます。
- ベンチマーク(Benchmark)
- ベンチマークはモデルを比較するための標準化されたテストで、数学、コーディング、知識問題のセットなどが使われます。スコアは参考になりますが、読みすぎには注意が必要です。
- ボイスクローニング(Voice cloning)
- ボイスクローニングは、テキスト音声変換モデルに特定の人物の声で話させます。多くはわずか数秒の録音から行えます。
- 検索拡張生成(RAG)
- 検索拡張生成(RAG)は、関連する段落を検索してプロンプトに加えることで、モデルがあなた自身の文書に基づいて回答できるようにする仕組みです。
- 単語エラー率(WER)
- 単語エラー率は音声認識の標準的な評価スコアです。正しい参考文と比べて、転写のうち誤っている語、欠けている語、余分な語の割合を示します。
- 分類器なしガイダンス(CFG)
- 分類器なしガイダンス、通称 CFG は、拡散モデルにおける設定の一つで、結果がプロンプトにどの程度厳密に従うかを制御します。その代償が追加の計算です。
- 翻訳評価指標(Translation metrics)
- 翻訳評価指標は、モデルカードが翻訳の質を示すために使うスコアです。人間の参考訳文との重なりを数えるものもあれば、訓練済みモデルや人間のレビュアーを使うものもあり、その尺度は相互に比較できません。