Skip to content

不想碰命令行,也别只盯着一款软件:本地大模型的桌面客户端怎么选 ​

魔当实验室 · 2026年10月

本文是"AI技术科普"系列第四篇,也是《把大模型装进自己的电脑:这四类工具分别在干什么》里"桌面客户端层"那一格的展开。不评测、不排名、不放下载和注册链接。想先弄清楚"跑起来要吃多少显存、能压到多小",看《参数量、量化、显存占用是什么关系》。

AI技术发展很快,文中提到的工具、能力和数据反映的都是当前阶段的情况,仅供参考。具体功能与授权条款以各软件官网与其代码仓库为准。

这一层解决的到底是什么问题 ​

上一篇把工具分成四层,最上面那层——装好就能用的窗口——是绝大多数人真正会天天面对的一层。它要解决的不是"能不能算",而是三个更具体的问题:去哪儿找模型、怎么知道我这台机器装得下、以及不开命令行能不能把事办了。第一个问题背后还有一层,《模型文件到底从哪来》单独讲。

需要先说明一件事:这一层的软件底下几乎都装着同一个引擎(通常是 llama.cpp,苹果机器上也可能是 MLX)。所以严格讲,选客户端选的不是性能上限,而是你愿意为哪一类便利付出代价。这也是魔当实验室不建议拿这几款做横向排名的原因——它们的差别不在强弱,而在取舍方向。

几款常见客户端各站在哪里 ​

LM Studio:把"能做的事"排满。 它是这一层里功能最齐的一款:内置模型浏览、按你的硬件提示哪些装得下、下载完直接加载、聊天、两个模型同时回答同一个问题做对比、性能数据面板,还能开一个本地接口当后台服务用。它同时是这一层里最"重"的一款——安装包比另几款大出一截,界面里可点的菜单也最多。另外它是闭源软件,但公开的政策是对包括商业工作环境在内的所有使用免费(2025 年年中取消了原有的企业授权要求,口径以官网为准)。一句话定位:愿意接受一个体量不小的软件,换"在一个窗口里什么都不缺"。

Jan:把"开源和轻"放在第一位。 另一条路线:桌面框架用的是更轻的技术栈,安装包明显小;同时支持本地模型和接云端服务,带本地接口、支持接入自己的文档问答,也在近年补上了工具连接协议(MCP)这类新能力。它的取舍在于界面里的手没有 LM Studio 那么多,但对"软件本身要开源、数据要留在本机"这件事态度最明确——隐私向的用户多半就是冲这一点来的。

GPT4All:把门槛压到最低。 它是这几款里对老机器最友好的:不要求独立显卡、内存要求也低,装完即用、默认离线。它最实用的地方是能把你电脑里的文档文件夹收进来直接提问,也就是自带的本地版文档问答,这对"只想让 AI 读我自己的资料"的人来说是刚需。代价是界面里的东西相对基础,模型库是它自己筛过的一批,自由度不如前两款。定位很清楚:第一次接触这件事、或者手上只有一台轻薄本的人的起点。

Msty:把本地和云端放同一个窗口。 它更像"多来源聚合客户端":一个界面里同时管本地跑的模型和你手上已有的一些在线服务,并且可以直接接你已经装好的本地运行时。功能覆盖广、上手快,闭源、有免费额度加付费档的路子。它适合的人群也很具体:本来就在用云端服务,想把本地模型当作另一个可切换的入口,而不是把全部工作都搬到本机的人。

Atomic Chat:把战线拉到手机。 近几年比较值得注意的一款开源客户端:桌面之外还有 iOS 和 Android,机器上常见的那几种模型文件格式它都吃,能在应用里直接浏览并下载社区上的模型,也提供本地接口和一批编程工具的一键接入。公开评测里还提到它的团队给底层引擎做过生成加速方面的工作并把代码开源。它的意义不在界面多漂亮,而在本地这一套不必只待在电脑上。

这五款之外,你肯定还会碰到别的名字。判断方式不变:先问它在哪一层,再问它把哪个痛点换成了什么。

按你的处境分流,而不是按名次 ​

你的情况值得先试的方向换来的是
完全不想看到命令行,想在一个窗口里试很多模型、做对比功能最齐的那款一个体量不小的软件
很在意"软件本身要开源、对话记录只留在本机"走开源路线的几款界面里的功能少一点
只有一台轻薄本、没有独立显卡,先想能不能跑起来硬件门槛最低的那款模型库与自由度受限
已经在用云端服务,只想再加一个本地入口多来源聚合型客户端部分能力落在付费档
想在手机上、或者在多台设备上都能带着自己的模型覆盖移动端的那款生态相对新,配置项少
需要让编程助手、脚本或自动化流程调用本地模型需要回到运行时层,客户端只是补位(见上一篇的分层地图)

最后一行值得多说两句。桌面客户端也可以开本地接口,但如果你真正的需求是"让别的软件来调我这台机器上的模型",那这件事的主场在运行时层——把客户端当便利入口,把运行时当服务底座,两者同时装着才是多数人的实际状态。

三个共同的点,比逐款对比更有用 ​

第一,同一份模型文件常常能跨软件用。 这一层的多数客户端吃的是同一种模型文件格式,你在一个软件里下载好的文件,换一个软件往往也能加载。所以"选错了怎么办"这个问题没有想象中严重——真正要重新下载的是几十 GB 的权重,而不是软件本身。(自带模型库的那些工具,各自的存放方式不一定互通,这一条要以各软件说明为准。)

第二,"免费"和"开源"是两件事。 这几款里既有开源的,也有闭源但完全免费的,包括商用场景。对个人用户,两者都能用;但如果你的用途涉及公司环境或者要改代码自用,去看它仓库里那份 LICENSE,比看宣传语可靠得多。魔当实验室在这里一律不做逐款断言:这类条款一年之内改过好几次。

第三,很多客户端已经顺手接了云端。 现在这一层的软件普遍允许你填一个在线服务的密钥,把云端模型和本地模型放进同一个聊天窗口。这很方便,但也最容易让人误判——你以为在跟自己的电脑说话,其实那一条走的是网络。判断标准很简单:回答断网后还在不在。

换软件,是最便宜的一次尝试 ​

魔当实验室想留下的判断是:在桌面客户端这一层,试错的成本其实被高估了。装一个软件不占多少地方,模型文件往往还能带走,真正花时间的是把环境理顺——驱动版本、下载被中断、上下文设多大、这台机器究竟装得下哪一档。多数人被劝退,不是因为选错了软件,而是因为第一次尝试就撞上了这些和环境有关的问题。

这也是这一层近两年最明显的变化:大家开始把"装好之后能用"当成产品目标,而不只是"能跑起来"。市面上已经能看到一些把常见模型的原版、量化版和加速版收在一起、做类似"一键安装、开箱即用"的方案,思路和这一层的几款客户端是一致的——把人需要处理的层次压到最少,只留下"我想试试哪个"这一件事。

下一篇离开语言模型这条线,去看图像与视频:那几个本地出图出片的工具之间到底是什么关系,见《本地 AI 出图、出片:为什么现在绕不开 ComfyUI》。