Skip to content

本地 AI ​

桌面端的本地 AI 面,也就是「本地模型中心」,是用户在本机管理本地 AI 的 UI。所有 UI 显示的状态都是 Runtime 真相的呈现。桌面端不读取自己关于 AI 配置的本地状态,它只问 Runtime。

本地 AI 呈现的内容 ​

概念含义
Active经过 Runtime 验证可执行(这一刻可用)
Installed已注册,但首次调用时才热加载
本地模型中心浏览、安装、激活本地模型的 UI
引擎绑定哪一类能力绑了哪一个引擎

Active 与 Installed 的区分是真实的:Installed 表示注册过、未热加载,第一次使用时才会完成加载;Active 表示这一刻已经验证为可执行。

真相呈现,不持有状态 ​

桌面端的本地 AI UI 不会自己造真相。屏幕上的每个状态都是 Runtime 真相的一次呈现。

关注点归属
模型是否激活Runtime
模型是否安装Runtime
模型服务于哪类能力Runtime
引擎绑在哪一项Runtime
CUDA 依赖状态Runtime materializer

Runtime 说不可用,桌面端就显示「不可用」,不会偷偷重试,也不会装作可用。

CUDA 依赖装配 ​

需要 CUDA 的引擎走 Runtime materializer。桌面端 UI 呈现 materializer 的强类型阶段。

阶段含义
queued已排队
downloading正在拉取依赖
verifying校验校验和与兼容性
installing装入 Runtime 管理的目录
ready_system在系统模式下就绪
ready_managed在受管模式下就绪
failed装配失败,记录原因
repair_required需要修复
cancelled用户取消

关键一点:装配过程不直接执行 PowerShell 或 bash。仅弹出一次确认对话框;真正的安装由 materializer 在准入契约下完成。

用户点「安装 CUDA 依赖」,materializer 走完整套阶段,桌面端把当前阶段呈现给用户。中间不存在不透明的 shell 命令环节。

场景:安装并激活一个本地模型 ​

你想在本机跑一个本地文本模型。

  1. 打开本地模型中心。桌面端从 Runtime 读取哪些模型已准入、可用、已安装、已激活。
  2. 浏览或搜索。走的是准入的目录路由。
  3. 安装。你选中一个模型包,Runtime 拉取、校验、注册。
  4. 进入 Installed。模型呈现为 Installed 状态。
  5. 激活并热加载。你向 Runtime 请求激活,Runtime 完成热加载,引擎绑定能力。
  6. 进入 Active。模型成为 Active,App 可以把请求路由过去。

整个过程里,桌面端 UI 都是 Runtime 状态的呈现。Runtime 说「校验失败」,桌面端就把这个原因原样显示出来。

场景:配置内存 embedding ​

用户想选定 memory 子层使用的 embedding 模型。

  1. Runtime Config UI。桌面端的 Runtime Config 编辑的是用户意图 —— 想用哪一个模型。
  2. 由 Runtime 完成解析。意图提交之后,绑定是否成功、bank 身份、迁移、切换,都由 Runtime 决定。
  3. 桌面端不会自行宣布「memory 就绪」。这是 Runtime 的判断。
  4. 桌面端只呈现。embedding 绑定成功与否,失败的原因是什么,UI 都从 Runtime 取。

这是这一节最重要的边界:桌面端表达意图,Runtime完成解析。

场景:CUDA 装配走完阶段 ​

某用户用独显,第一次安装一个需要 CUDA 的引擎。

  1. 声明 CUDA 需求。引擎声明 CUDA 是必需依赖。
  2. materializer 提供装配。一次确认 UI:「安装 CUDA 依赖?」
  3. 用户确认。materializer 排队。
  4. 阶段进展。桌面端 UI 呈现:queued → downloading → verifying → installing → ready_managed。
  5. 引擎就绪。引擎现在可以在 GPU 上运行。

任何阶段失败,桌面端会呈现强类型的失败原因。用户在准入状态下选择重试、修复或取消。

Realm 离线不阻断本地 AI ​

Realm 状态本地 AI 状态
在线本地 AI 正常
离线本地 AI 仍可工作
都离线退化为只读

这是「本地优先」姿态在 UI 上的具体体现。Realm 不可达,并不会让本地 Agent 跑不起来。

本地 AI 不做的事 ​

关注点原因
自己读本地状态作为 AI 配置真相桌面端只呈现 Runtime 真相
直接执行 shell 命令准入路径是 materializer
自行宣布 memory 绑定成功这是 Runtime 的归属
Runtime 说不可用时给一个回退fail-closed 姿态

来源依据 ​

Nimi AI open world platform documentation.