👁 72 次阅读

Jan 0.7.7 的 MLX 后端为何无法工作

来源链接：https://github.com/janhq/jan/issues/7558

现象描述

Jan 0.7.7 版本引入了 MLX 支持，这对 Mac 用户是好消息。但 issue #7558 的发起者发现该功能实际不可用。用户下载了 HuggingFace 上的 MLX 模型后，Jan 直接报错：

Error generating response
ServiceHub not initialized or model/provider missing.

发起者的诉求很明确：希望官方在文档中补充使用说明与支持的模型列表。该 issue 当前状态为 open，创建与提交时间见 issue 正文，最后一条实质讨论停留在 2026-05-13。

背景原因

从 issue 讨论看，故障并非单一原因，而是分几个层面叠加。 模型导入环节：用户 computerworxdev 在 2026-03-05 指出，问题在于导入功能不工作。在 MLX 界面中有一个标注为 Select Safetensor File or Folder 的下拉区域，但文件夹无法拖入其中，只允许选择单个文件。而 HuggingFace 上的 MLX 模型都由多个 safetensor 文件组成，因此用户没有途径把完整的 MLX 模型上传到 Jan。 运行时资源缺失：用户 paulhugel 在 2026-05-13 给出的分析指出，Jan 0.7.9 在 Apple Silicon（M1、M2、M3、M4）上启动失败，原因是缺少 Metal runtime 资源——default.metallib 这个 Metal 库没有被打进 0.7.9 的安装包。该分析将其定性为打包缺陷，即 Apple Silicon 上 MLX 所需的运行时资源缺失，并说明已在 MacMini M4 上确认：没有运行时错误，也没有模型加载。 社区情绪的印证：用户 vec715 在 2026-04-11 表示，几乎所有 MLX 模型都处于损坏状态，一个月来零响应，并认为当时在同时支持 GGUF 和 MLX 模型方面，LM Studio 之外没有真正的替代品。

排查或量化方法

issue 中实际出现的定位手段有限，且大多来自用户侧。 查看应用日志：用户 paulhugel 建议进入 Settings--> General--> App Logs--> Open Logs，弹出的日志窗口会显示详细过程。这是 issue 中给出的唯一一条通用排障入口。 确认模型是否被选中：维护者 louis-jan 在 2026-03-04 询问用户是否在左上角模型下拉栏中选中了模型。这一问答说明模型未选中也可能触发 model/provider missing 类报错。 核对模型存放路径：据 issue 讨论，MLX 模型默认存放在：

/Users/your_username<redacted>/Library/Application Support/Jan/data/mlx/models

该路径由用户 paulhugel 给出，可用于确认模型是否被正确放置。 参数与状态对照表

项目	内容	来源
报错信息	ServiceHub not initialized or model/provider missing.	发起者
报错信息	Failed to create model: Failed to start model: {"code":"MLX_PROCESS_ERROR","details":"","message":"The MLX model process encountered an unexpected error."}	pcminh0505
测试模型	mlx-community/Qwen3.6-35B-A3B-4bit	pcminh0505
模型目录	~/.cache/huggingface/hub/models--mlx-community--Qwen3.6-35B-A3B-4bit	pcminh0505
硬件	MacOS M4 Pro	pcminh0505
缺失文件	default.metallib	paulhugel
可借用文件	mlx-swift_Cmlx.bundle（从 0.7.8 复制）	pcminh0505
目标路径	/Applications/Jan.app/Contents/Resources/resources/bin/	pcminh0505
默认模型目录	/Users/your_username<redacted>/Library/Application Support/Jan/data/mlx/models	paulhugel

完整解决方案

该 issue 仍为 open，官方尚未合入最终方案。以下为 issue 讨论中实际出现的处理路径，均属社区结论。 社区变通方案一：只选第一个 tensor 文件 维护者 louis-jan 在 2026-03-05 回复称已修复并排入更新队列，同时给出临时办法：只选择第一个 tensor 文件，程序实际上会使用整个文件夹。 社区变通方案二：从旧版本复制 bundle 文件 用户 pcminh0505 在 2026-05-13 确认，把 mlx-swift_Cmlx.bundle 从 0.7.8 复制到 /Applications/Jan.app/Contents/Resources/resources/bin/，可以消除报错、让消息发送到 MLX 模型。但该用户同时说明，在其具体环境下消息一直转圈而收不到响应，无法判断是否真正工作。 社区变通方案三：使用 nightly 构建 用户 paulhugel 在 2026-05-12 给出修复 PR 链接 https://github.com/janhq/jan/pull/8132，并称 Jan-nightly 版本 0.7.9-4291（写为 0.7.9-4291）已包含可用的 MLX 修复（面向 Apple Silicon 电脑），并附截图验证。 需要注意的是，该 PR 是否已合并进主干，issue 讨论本身并不等同于代码已进主干；讨论中给出的定位链接为 <https://github.com/janhq/jan/pull/8132>，其合并状态需要到 PR 页面另行确认。

常见错误排查

以下条目均基于 issue 中实际出现的报错与回复，未出现的排查手段不做补写。

• 报错 ServiceHub not initialized or model/provider missing.

维护者反问是否在左上角模型下拉栏选中了模型。先确认模型已被选中，再排查其它原因。

• 报错 Failed to create model: Failed to start model: {"code":"MLX_PROCESS_ERROR",...}

该报错由 pcminh0505 在 Jan 0.7.9 上复现，没有附带更多细节。据 issue 讨论，可从 0.7.8 复制 mlx-swift_Cmlx.bundle 到 /Applications/Jan.app/Contents/Resources/resources/bin/ 尝试缓解，但该用户反馈仍可能无响应。

• MLX 模型导入时无法选择文件夹

界面标注 Select Safetensor File or Folder，但据 computerworxdev 反馈，文件夹拖入不工作，只能选单文件。临时处理是只选第一个 tensor 文件，程序会使用整个文件夹。

• Jan 0.7.9 在 Apple Silicon 上完全无法加载模型

据 paulhugel 分析，根因是 default.metallib 缺失，属打包缺陷。可改用 nightly 版本 0.7.9-4291。

• 消息发送后持续转圈无响应

pcminh0505 在复制 bundle 后遇到该现象，且无进一步线索。可打开 Settings--> General--> App Logs--> Open Logs 查看详细日志。

实践建议

以 nightly 版为准：讨论中有用户在 0.7.9 正式版上仍复现 MLX_PROCESS_ERROR，而有用户称 nightly 版本 0.7.9-4291 中 MLX 修复可用。两者结论并存，建议先确认所用构建号。 保留可回退的旧版本：mlx-swift_Cmlx.bundle 从 0.7.8 复制可用的做法，说明旧版本中的运行时资源具有参考价值，升级前保留 0.7.8 安装包是稳妥做法。 先确认模型选中状态：维护者的第一反应是检查模型下拉栏，说明该环节是高频误操作点。 不要假定单文件选择会失败：选择第一个 tensor 文件后程序会使用整个文件夹，这是维护者给出的明确说明。 注意路径问题：HuggingFace 缓存路径（~/.cache/huggingface/hub/...）与 Jan 的默认模型目录（/Users/your_username<redacted>/Library/Application Support/Jan/data/mlx/models）是两处不同位置，排查时需区分。

FAQ

Q1：Jan 0.7.7 的 MLX 后端为什么用不了？ A：据 issue #7558 讨论，涉及至少两类问题：一是模型导入界面无法选择文件夹，导致多 safetensor 文件组成的 MLX 模型无法上传；二是后续版本中 Apple Silicon 所需的 Metal 运行时资源 default.metallib 缺失，属打包缺陷。 Q2：这个问题官方修复了吗？ A：该 issue 当前状态为 open，官方尚未合入最终方案。维护者曾在 2026-03-05 表示已修复并排入更新队列；用户 paulhugel 给出 PR https://github.com/janhq/jan/pull/8132 并称 nightly 版本 0.7.9-4291 中 MLX 修复可用。但用户在 0.7.9 正式版上仍复现报错，需以实际构建号为准。 Q3：导入 MLX 模型时只能选单个文件，怎么办？ A：据维护者回复，只选第一个 tensor 文件即可，程序实际上会使用整个文件夹。 Q4：从 0.7.8 复制 mlx-swift_Cmlx.bundle 能解决问题吗？ A：用户 pcminh0505 确认复制到 /Applications/Jan.app/Contents/Resources/resources/bin/ 后可消除报错，但在其环境下消息仍持续转圈无响应。这属于社区结论，效果存在分歧，官方未确认。 Q5：MLX 模型默认存在哪里？ A：据 issue 讨论，默认路径为 /Users/your_username<redacted>/Library/Application Support/Jan/data/mlx/models。其实际实现细节尚未公开。