MLX LM
Apple 推出的 Python 包,用 MLX 框架在 Apple 芯片 Mac 上生成文本并微调语言模型。
MLX LM 是一个 Python 包,用 MLX(Apple 为自家芯片打造的机器学习框架)在 Apple 芯片上运行和微调语言模型。它连接 Hugging Face Hub,一条命令就能下载并使用数千个模型,还能对模型做量化并把结果上传回 Hub。
入门只需两条命令:mlx_lm.generate 根据提示词生成文本,mlx_lm.chat 在终端里打开聊天会话。它支持低秩(LoRA)和全模型微调,包括对量化模型的微调,还可通过 mx.distributed 在多台机器上做分布式推理和微调。用 pip install mlx-lm 或 conda-forge 安装即可。
MLX 围绕 Apple 的统一内存设计,很适合在 Mac 上运行模型。其他工具也建立在它之上:LM Studio 说其底层使用了 MLX。它只面向 Apple 硬件,如果你用 Windows 或 Linux,请改用 llama.cpp、Ollama 或 vLLM。
适合做什么
- 想要快速本地文本生成和 Python API 的 Mac 用户
- 在 Mac 上用 LoRA 微调小型和中型模型
- 对模型做量化,并把结果分享到 Hugging Face Hub
需要注意
- 只能在 Apple 芯片上运行
- 它是软件包和命令行工具,不是图形应用
- 并非每个新的模型架构都会在发布当天得到支持