Osaurus：跑在你 Mac 上的本地 AI Agent，连模型都是自己训的
阅读时间: 大约 7 分钟
Osaurus：跑在你 Mac 上的本地 AI Agent，连模型都是自己训的
“本地跑大模型”这件事，过去几年主要由 Ollama 这类运行时推动——你装个运行时、拉个模型、再配个客户端。Osaurus 想做的是更上一层：一个原生 Mac 应用，把”本地模型 + 文件 + agent + 隐私护栏”打包成开箱即用的产品，口号是 “Privacy isn’t extinct”（隐私并未灭绝）。官网披露的数据：232.9k 下载、7.8k stars，Windows 版标注 Beta。它最不寻常的一点是——不只是套壳调用别人的模型，而是自己训了一个叫 Raptor 的模型。
一、Raptor 4B：为在你笔记本上跑而调过的模型
官网给出的 Raptor 4B 指标（官方称）：
| 指标 | 数值 |
|---|---|
| 模型大小 | 3.7 GB |
| 最低硬件 | 8GB 内存的 Mac 及以上 |
| 生成速度 | 105 tok/s |
| 上下文长度 | 1M |
它的卖点不是”跑分赶超 GPT”，而是”小到能住在你已经拥有的这台 Mac 里，所有推理都在你笔记本上完成，而不是别人的数据中心”。这与把请求发到云端 API 的做法是两条路线：本地路线牺牲了旗舰模型的能力上限，换来了数据不出机器、可离线、无按 token 计费。
这里有个值得点出的张力：1M 上下文意味着需要把长上下文的 KV 缓存也放进内存，而官方把最低门槛压到 8GB Mac。3.7GB 的模型权重已经吃掉相当一部分统一内存，真正跑到接近 1M 上下文时是否还能维持 105 tok/s，官方并没有给出分上下文长度的实测曲线——105 tok/s 更可能是短上下文下的数字。这是看这类”小模型+大上下文”宣传时该有的保留。
二、Agent 怎么工作：围绕你自己的文件
Osaurus 把 agent 称为 “Helper”，官网演示了几类：Legal Helper 审合同、Practice Helper 把一周的 intake 笔记整理成交接、Books Helper 对着银行流水做月末对账。它的工作方式不是”上传一段文本到对话框”，而是给一个文件夹——Helper 读取该目录下的笔记、文档、表格，基于你自己的材料干活，并在本机累积记忆。
三、隐私与安全：本地之外，还加了一层”出域前过滤”
本地模型天然数据不出机，但 Osaurus 的定位是”你也可以选云端模型”。一旦用云端模型，数据就要出网。官网为此叠了几层护栏：
- Privacy Filter（实验性）：在内容发给云端之前，自动识别并让你删掉名字、账号号这类敏感信息；
- 改文件前先问：文件修改必须经你批准、被限制在你选定的文件夹内、且可撤销；官网用一个演示强调”Osaurus asks before it changes a file”；
- 全程留痕：Insights 日志记录它做过的每一件事，包括任何离开本机的请求；界面上还有一个 “Outgoing requests: 0” 的计数。
需要注意官网自己的标注：记忆功能与 Privacy Filter 都标了 “Experimental”，意味着这些能力仍在打磨，不能当成已经稳定的合规方案来依赖。
把它和常见的”本地模型”产品放在一起看定位会更清楚：Ollama 解决的是”在本机把模型跑起来”，是一个运行时；Cherry Studio、Open WebUI 这类解决的是”给模型一个聊天界面”。Osaurus 想吞掉的是更靠上的一层——它自带模型、自带文件访问、自带审批与日志，目标是让你不必再拼接”运行时 + 客户端 + RAG + 沙箱”这套组合。换句话说，它赌的是普通用户不想懂 MLX、不想配置模型路径，只要一个”打开就能处理我文件夹里文件”的应用。这个赌注成立的前提，是自带的 Raptor 模型在它瞄准的文档处理、表格对账、合同审阅这类任务上够用——而这类任务对推理深度要求中等，恰好是小模型能覆盖的区间。
四、客观分析：优势与局限
优势：
- 真·本地优先：Raptor 是自己微调的模型、记忆存本机、Wi-Fi 关掉也能干活（官网专门用一个演示强调这点）；
- 隐私护栏成体系：不是口号，而是”出域前过滤 + 改前批准 + 全程日志”三件套；
- 门槛友好：3.7GB、8GB Mac 可跑，相比动辄几十 GB 的开源模型，普通 MacBook 用户够得着。
局限：
- 能力上限受限于 4B 小模型：本地小模型在复杂推理、长链规划上与云端旗舰模型有客观差距；
- 关键特性仍 Experimental：记忆与隐私过滤都是实验状态；
- 平台：正式版是 Mac（Apple Silicon 优化），Windows 仅 Beta；
- 1M 上下文 + 8GB 内存的组合在长上下文下的真实吞吐，官方未给出实测曲线。
五、适合谁
- 处理合同、病历、财务等敏感材料、不愿把文件发到云端 API 的人；
- 想在断网/出差时仍有一个本地助手可用的人；
- 已经在用 Ollama、但想要”文件 + agent + 审批护栏”一体化原生体验的 Mac 用户。如果你追求最强模型能力、材料又不敏感，直接用云端旗舰模型更省事。