术语表

先给简短定义,再讲细节。术语之间可以互相跳转。

基础概念

参数
参数是模型内部在训练中被调整的数字,参数数量(如 7B 或 70B)是衡量模型规模的常用指标。
机器翻译
机器翻译是把文本、语音或图片里的文字从一种语言翻译成另一种语言的软件。如今的开放模型通常以通用模型为起点,再训练成只做翻译。
开放权重
开放权重模型是指公开了训练得到的参数(即权重)的 AI 模型,任何人都可以下载并运行,通常附带一份规定使用条件的许可证。
强化学习(RL)
强化学习通过奖励好的结果来训练模型,例如答对问题或通过测试,而不是让模型去模仿示例文本。
上下文窗口
上下文窗口是模型一次最多能考虑的文本量,以 token 计量,其中包括你的提示词和模型自己的回答。
推理(Inference)
推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
自主 AI(Sovereign AI)
自主 AI 指一个国家或机构可以在自己控制之下构建、托管和管理的 AI,从算力、数据到模型本身。
Hugging Face
Hugging Face 是发布大多数开放模型的网站:每个模型都有一个页面,列出文件、许可证、模型卡和下载量。
Token(词元)
Token(词元)是语言模型读写的最小文本片段,通常是一个词或词的一部分;模型用 token 来衡量长度和速度。

模型与架构

稠密模型
稠密模型处理每个 token 时都会用到全部参数,而混合专家模型只激活其中的一部分。
多模态模型
多模态模型能处理不止一种类型的数据,例如文本、图像、音频或视频,可以作为输入、输出,或两者兼有。
高效注意力(稀疏、线性与混合)
高效注意力设计让模型用比标准注意力少得多的内存和算力读取超长输入,做法是少看一些 token,或压缩过去的内容。
混合专家模型(MoE)
混合专家模型包含许多专门的子网络,每个 token 只使用其中少数几个,因此可以做得很大,同时依然很快。
基础模型(Base model)
基础模型是预训练的原始产物,还没有被教会遵循指令或对话,通常是微调的起点。
决策模型
决策模型读取一个情境和一组问题,然后给每个允许的答案返回概率,而不是写出文字。
扩散模型
扩散模型从随机噪声出发,一步一步去除噪声,最终生成图像或视频。
嵌入模型
嵌入模型把文本、图像或其他数据转换成一串能够表达其含义的数字,使意思相近的内容在空间中彼此靠近。
视觉语言模型(VLM)
视觉语言模型能同时读取图像(通常还有视频)和文本,所以你可以针对一张图片、一张截图或一页文档提问。
说话人分离(说话人标签)
说话人分离会判断录音中谁在什么时候说话,并给每一段语音标上说话人,例如说话人 1 和说话人 2。
套娃嵌入(Matryoshka embeddings)
套娃嵌入在训练时就让向量的前半部分也能单独使用,所以你可以把向量截短,以节省存储空间和搜索时间。
推理模型(Reasoning Model)
推理模型在给出最终答案之前,会先经过一个可见或不可见的“思考”阶段,一步一步地解决问题。
文本编码器
在图像或视频生成模型里,文本编码器是一个独立的语言模型,负责把你的提示词变成生成器能用的数字。它会增加下载量和内存占用。
文字转语音(TTS)
文字转语音模型把文字转成语音,许多模型还能用一小段样音复制某个声音。
循环 Transformer
循环 Transformer 会对每个 token 把自己的一部分层重复运行多次,因此不用存储更多参数,就能获得更多计算。
音乐生成
音乐生成模型把文字描述(通常还有歌词)变成音频:带人声的完整歌曲、器乐、实时流式音乐或音效。
语音识别(ASR、语音转文字)
语音识别又称 ASR 或语音转文字,把说出的音频转成书面文字。
蒸馏
蒸馏是训练一个较小的“学生”模型去模仿较大的“教师”模型,用很小的体积保留教师的大部分能力。
重排序模型(Reranker)
重排序模型把问题和每条搜索结果放在一起阅读,对一小批结果重新打分,比单用嵌入更准确,但更慢。
AI 智能体
AI 智能体是指由模型规划并完成多步任务的系统,它通过调用工具来行动,例如运行代码、搜索网页或编辑文件。
OCR 与文档解析
OCR 把图片中的文字转成文本;文档解析则更进一步,重建表格、公式、图表和阅读顺序,通常输出 Markdown。

硬件与内存

精度(BF16、FP8、INT4)
精度指的是模型中每个数字用多少比特位来存储,例如 16 位的 BF16、8 位的 FP8 或 4 位的 INT4;位数越少,模型越小、越快。
量化
量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
量化感知训练(QAT)
量化感知训练让模型在训练阶段就适应低精度权重,所以在 4 位下的质量损失,比事后压缩的模型更小。
三值权重(Ternary weights,1.58 位)
三值权重把每个模型权重限制为 -1、0 或 +1 三个值之一,所以每个权重只需不到 2 位,而不是 16 位。
统一内存
统一内存是 Apple 芯片和其他一些芯片采用的设计,CPU 和 GPU 共用同一块内存,因此大模型可以使用其中的大部分。
推测解码与多 token 预测
推测解码用一个便宜的草稿模型先猜出后面的若干个 token,再让完整模型一次性检查,以此加快文本生成。
显存(VRAM)
显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。
GGUF
GGUF 是 llama.cpp 及基于它的工具所使用的单文件模型格式,它把量化后的权重与运行所需的信息打包在一起。
KV 缓存
KV 缓存是模型用来记住对话中此前 token 的内存,它会随上下文长度增长。

许可与授权

地域限制(Territory restriction)
地域限制规定许可证在哪些地方有效:在被排除的国家或地区使用该模型,就没有获得许可。
非商业许可证
非商业许可证允许你把模型用于研究、学习和个人项目,但不允许用它赚钱。
开源 AI
按开源促进会(OSI)的定义,开源 AI 是指你可以自由使用、研究、修改和分享的 AI 系统,其权重、代码以及训练数据的详细信息都必须公开。
宽松许可证
宽松许可证(如 Apache 2.0 或 MIT)允许你使用、修改和销售模型,附加条件很少,通常只要求保留声明。
需授权下载的模型(Gated)
Gated 模型是指在 Hugging Face 上下载前,必须先登录并接受条款或申请访问权限的开放模型。
营收上限(Revenue cap)
营收上限是一种许可证条件:收入低于某个数额时模型免费使用,超过之后需要另行签订协议。
OpenRAIL(负责任 AI 许可证)
OpenRAIL 是一类许可证:允许你使用、修改和分享模型,包括商用,但要求每一份副本和衍生模型都附带一份禁止用途清单。

使用模型

采样步数
采样步数是扩散模型把噪声变成图像或视频所经历的计算轮数。步数越少,结果越快,通常会损失一些细节或多样性。
词错误率(WER)
词错误率是语音识别的标准评分:转写稿中与正确参考稿相比,错误、缺失或多余的词所占的比例。
端侧 AI(On-device AI)
端侧 AI 指模型在你自己的手机、笔记本或小型开发板上运行,而不是在云端,所以数据留在本地,也能离线使用。
翻译评测指标
翻译评测指标是模型卡用来给译文打分的数值。有的统计与人工参考译文的重合度,有的用训练过的模型或人工评审,它们的刻度不能直接比较。
工具调用(Function calling)
工具调用让模型请求你的程序运行某个函数,例如搜索或计算器,然后在回答中使用函数返回的结果。
幻觉
幻觉是指 AI 模型信心十足地给出的虚假或编造的陈述。
基准测试(Benchmark)
基准测试是用来比较模型的标准化测试,例如一组数学、编程或知识问题;分数有参考价值,但很容易被过度解读。
计算机使用智能体
计算机使用智能体会查看屏幕截图,像人一样操作电脑:点击、输入、滚动,有时还会运行 shell 命令或代码。
兼容 OpenAI 的 API
兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。
检索增强生成(RAG)
检索增强生成让模型能够根据你自己的文档来回答问题:先检索出相关段落,再把它们加入提示词。
声音克隆
声音克隆让文字转语音模型用某个人的声音说话,往往只需几秒钟的录音。
微调
微调是在你自己的示例上继续训练一个预训练模型,让它在特定任务、风格或领域里表现得更好。
无分类器引导(CFG)
无分类器引导,通常简称 CFG,是扩散模型里的一项设置,控制结果在多大程度上遵循你的提示词,代价是额外的计算。
智能体编程(Agentic coding)
智能体编程指模型像开发者一样处理软件:阅读代码库、编辑文件、运行命令和测试,并一直做到任务完成。
智能体记忆
智能体记忆让 AI 智能体在不同会话之间保留事实、偏好和过往经验,而不是每次都从空白上下文开始。
自托管(Self-hosting)
自托管指在你能控制的硬件上运行模型,例如自己的电脑或租来的 GPU 服务器,而不是调用厂商的 API。
LoRA(低秩适配)
LoRA 是低秩适配的简称,它通过训练一小组新增的权重来微调模型,而不是改动模型的全部参数。
MTEB(嵌入模型基准)
MTEB 即大规模文本嵌入基准(Massive Text Embedding Benchmark),在搜索、分类和聚类等众多任务上给嵌入模型打分,其公开排行榜是常用的比较方式。
OmniDocBench
OmniDocBench 是文档解析基准:它给模型把各种类型的 PDF 页面转成文本、表格和公式的能力打分。