方法論:オープン AI モデルの収集・検証・分類のしかた

ai-opensource.com が掲載モデルをどう決めるか、事実はどこから来るか、メモリ見積もりとライセンス分類の仕組み、そしてページの更新と訂正の頻度について。

  • 更新日

要点。 誰でも重みをダウンロードできるモデルだけを掲載し、事実は一次情報源から取り、メモリは公開している式で見積もり、ライセンスはライセンスファイルの記載に基づいて分類し、すべてのページに更新日を表示します。

掲載するもの

重みを誰でもダウンロードできるモデルがカタログの対象です。ライセンス同意を先に求めるゲート付きダウンロードも含みます。API 専用モデル、リークされた重み、重みのない発表は掲載しません。カタログは網羅的ではなく編集部による選別です。現行で、広く使われているか技術的に注目に値するモデルを中心に取り上げ、古いモデルは削除せず legacy と印を付けます。

事実の出典

すべてのモデルページが出典を示し、ニュース記事も同様です。一次情報源は次の優先順位で使います。

  1. モデルリポジトリ内のライセンスファイル
  2. モデルカード、設定ファイル、チェックポイントの実際のファイルサイズ
  3. 開発元の発表または技術レポート
  4. Hugging Face API などのプラットフォームメタデータと、プロジェクトのコードリポジトリ

噂、SNS の投稿、アグリゲーターのページを、数値の唯一の情報源にはしません。情報源が食い違う場合はページにその旨を記します。リリース日はリポジトリの作成日ではなく、開発元がモデルを発表した日、または重みを公開した日です。

ベンチマーク

私たちは独自のベンチマークスイートを実行せず、単一のスコアでモデルを順位付けもしません。このサイトのベンチマーク数値は、開発元が選んだテスト条件で開発元が報告したものであり、その旨を明記して表示しています。AI モデルを自分で評価する方法では、自分の仕事に即してモデルを試す方法を説明しています。

メモリ量の見積もり方

見積もりは意図的にシンプルで保守的です。計画のための目安であり、保証ではありません。

形式 パラメータあたりのバイト数
FP32 4
BF16、FP16 2
FP8、INT8 1
INT4、FP4 0.5
MXFP4 0.53
NVFP4 0.56
Ternary(重みが −1、0、+1 の約 1.75 ビット) 0.22
GGUF Q4(Q4_K_M、約 4.8 ビット) 0.6

重みのメモリ量は「パラメータ数 × パラメータあたりのバイト数」です。実行時バッファと控えめなコンテキストキャッシュの分として 15% を上乗せします。その上で次の規則を適用します。

  • 混合专家(MoE)モデルはすべてのエキスパートをメモリに保持する必要があるため、アクティブパラメータではなく合計パラメータを使います。アクティブパラメータは速度にのみ影響します。
  • 言語モデルは日常的に量子化されるため 4 ビットの見積もりで掲載します。開発元が 4 ビットや ternary の重みを配布している場合は、実際のダウンロードサイズに 10% を加えた値を代わりに使います。
  • 画像・動画・音声・音楽・埋め込みモデルは量子化されることがまれなため、配布された重みに 15% を加えた値を使います。別のテキストエンコーダーを持つパイプラインなど、複数コンポーネントがある場合はダウンロードサイズの合計を使います。
  • 開発元自身の最小要件が示されている、または実測されている場合は、それが私たちの式に優先します。
  • 長いコンテキストはより多く必要です。 キー・バリュー(KV)キャッシュはトークンごとに増えるため、長いプロンプトではこれらの数値を大きく超えることがあります。メモリのガイドに計算例があります。

この数値に基づいて各モデルをハードウェア階層に分類します。

階層 上限
ノート PC・スマートフォン 16 GB
ゲーミング GPU 32 GB
ワークステーション 96 GB
大容量メモリデスクトップ 512 GB
GPU サーバー 1,536 GB
マルチノードクラスタ 1,536 GB 超

ライセンスの分類方法

モデルページのラベルだけでなく、ライセンスファイルそのものを読み、両者が食い違う場合はその旨を記します。各ライセンスは次の 3 種類のいずれかに分類されます。

  • Permissive(許容的): モデルの利用・改変・販売が可能で、条件は告知の保持など軽微なもの。Apache 2.0 や MIT が例です。
  • Conditional(条件付き): 商用利用は可能だが追加条件が付きます。条件はタグで示します。クレジット表示、ホスティング協定、売り上げ上限、地域制限、利用ポリシー、セキュリティ審査、出力フィルタリング、命名規則。
  • Non-commercial(非商用): 研究と個人の利用のみ。商用利用には別途合意が必要です。

Open Source Initiative がライセンスを承認しているかどうかと、テキストを最後に確認した日も示します。これは読解の助けであり、法的助言ではありません。AI ライセンス入門に、リリース前に使えるチェックリストがあります。

リスト・比較・注目モデル

ベストリストと比較は編集部の選定です。それぞれ基準を明示し、すべての選定に理由を付けています。ホームページの注目モデルは、さまざまなサイズとカテゴリをカバーするように選んだ約 20 のモデルの選別セットです。注目モデルであることは順位を意味しません。カタログが変わったときは、該当モデルに言及しているリストを見直します。

更新と訂正

各ページには、事実を最後に確認した日を表示しています。ニュース記事には出来事の日付と、私たちが最後に確認した日を表示しています。誤りを見つけた場合はページを訂正して日付を更新し、訂正が結論を変える場合はその旨をページに記します。誤りはフッターの連絡先リンクから報告してください。

オープンデータ

カタログはオープンデータとして公開しています。モデルは JSON と CSV、ライセンスは JSON 形式です。テキストとデータは CC BY 4.0 で公開されており、クレジットを付ければ再利用できます。

言語と AI の活用

英語が基準版であり、翻訳はそれに従います。調査と下書きには AI ツールを活用していますが、出典までたどれない数値は掲載しません。すべてのモデルページに少なくとも 1 つの出典リンクがあり、ニュース記事も出典を列挙しています。