LM Studio
一款精致的桌面应用,用来下载、对话和托管本地模型,内置智能体和离线语音转写。
LM Studio 是 Element Labs 推出的桌面应用,用于在你自己的电脑上运行语言模型。你可以在应用内浏览和下载模型、与模型对话,也可以启动本地服务器供其他程序使用。它的运行时底层使用 llama.cpp 和 MLX,只要模型文件已经下载,就可以完全离线运行。命令行工具 lms 和名为 llmster 的无界面版本则适用于服务器和脚本。
当前版本的应用品牌为 LM Studio Bionic。它新增了一个智能体,可以创建和编辑文档、协助编程和自动化、控制电脑,还有离线语音转写,免费方案下可连接最多五台你自己的设备。可选的付费方案提供零数据留存的托管开放模型;免费方案已足以运行本地模型。
它支持搭载 Apple 芯片的 Mac(macOS 14 或更新版本)、x64 和 ARM 的 Windows,以及以 AppImage 分发的 x64 和 ARM64 Linux。LM Studio 建议配备 16 GB 或更多内存。应用本身不是开源的,受公司服务条款约束,不过它的命令行工具 lms 采用 MIT 许可证。
适合做什么
- 更喜欢图形界面而不是命令行的新手
- 在一个地方浏览、下载和对比许多模型
- 不写代码就为其他工具启动本地 API 服务器
- 私密的离线聊天和语音转写
需要注意
- 应用不是开源的;如果打算在工作中使用,请阅读服务条款
- 不支持 Intel 芯片的 Mac
- 可选的云端方案会把提示词发送给托管模型,这与本地运行不同