推理(Inference)
推理是指运行已训练好的模型来得到输出,比如回答一个提示词,与“训练模型”相对。
训练是在海量数据上调整参数来教会模型,需要 GPU 集群。推理只读取已完成的权重并生成回答,因此便宜得多,通常一台机器就能运行。
当你用 Ollama、LM Studio、llama.cpp 或 vLLM 之类的工具运行开放模型时,做的就是推理。运行得多快,取决于内存容量、内存带宽和你使用的引擎。
相关术语
- 微调 微调是在你自己的示例上继续训练一个预训练模型,让它在特定任务、风格或领域里表现得更好。
- 量化 量化是用更少的比特位(例如 4 位而不是 16 位)来存储模型权重,以较小的质量代价减少内存占用并加快推理。
- 显存(VRAM) 显存是显卡上的内存,它决定了一块 GPU 能容纳哪些模型,因为权重必须装得进内存,模型才能快速运行。