☰ 菜单
应用 开源

Strata for Mac 版

Strata

Strata:这款开源工具可以让普通电脑,尤其是显存有限的消费级显卡,也能运行参数规模惊人的本地 AI 大模型,比如 Qwen3.8、Qwen-Flash-Next、DeepSeek 4.1 Flash 等模型。

Strata 是什么

Strata 让你在自己的电脑上运行 AI 模型,聊天、写代码、处理图片都在本地完成,无需账号,免费且开源。它支持桌面应用和终端两种用法,也能接入 Claude Code、Codex CLI、OpenCode 等常用编程工具,通过兼容 OpenAI 与 Anthropic 的 API 连接。

核心在于让本地模型真正可用。Strata 提供了 Qwen3.8-Flash-Next、Qwen3.6-35B-A3B、DeepSeekV4.1-Flash-1017 等模型选择,并给出显存需求与兼容性参考。以 DeepSeekV4.1 为例,放不进内存的部分会从 SSD 读取,因此需要充足的磁盘空间;它可在 NVIDIA RTX 30/40/50 系(Windows、Linux)、AMD Radeon AI PRO R9700(Linux)、AMD Ryzen AI Max Strix Halo(Windows)以及 64GB 以上内存的 Apple Silicon Mac 上运行。桌面端把聊天、文件和实时预览放在同一窗口,终端用户执行 strata launch 即可按提示下载并启动模型。

它适合希望数据留在本机、不想依赖云端服务的开发者和技术用户,尤其是需要在本地跑代码助手或图像工作流的人。

详细介绍

以前在 8GB 显卡下,开启 64K 上下文会耗尽专家缓存空间,导致启动失败。只能改用 CPU 图像处理、更小的 KV 缓存,或将上下文降到约 48K。

Strata 0.2.10 改进了这套机制:当显存不足时,优先调整显存和内存之间的数据分配,尽可能保留用户设置的上下文长度。

比如,现在可以在 8GB 显存条件下启动 Qwen3.8 IQ3_S,并保持 128K 上下文,也就是 131,072 Token。

Strata 会根据显存余量,逐步缩小驻留在 GPU 中的 KV 缓存窗口,必要时还会调整其他缓存,甚至将部分数据放到系统内存中。

官方测试中:

  • 8GB 显存限制下,DFlash2 模式生成速度达到 63~73 Token/s。
  • 32K Token 的提示词处理时间为 19.8 秒。
  • 一张真正的 Intel Arc A750 8GB 显卡,也成功启动 128K 上下文,生成速度为 12.7~14.8 Token/s。

注意,显存需求仍然在,不是凭空消失,而是把压力给到了内存和 SSD。

Strata 0.2.10 将 DFlash2 设置为默认加速器。

DFlash2 是一种推测解码器。简单理解,就是让一个体积较小的辅助模型提前猜测接下来可能生成的内容,再交给主模型批量验证。猜对的部分越多,主模型就越有机会一次确认多个 Token,从而加快生成速度。

此前 Strata 使用的 MTP 推测层大约需要 5.2GB 空间,而新版 DFlash2 的显存占用约为 625MiB。

官方对比了同一引擎下 DFlash2 和 MTP 的表现:

测试设备 模型 生成速度提升
Ryzen AI Max(Windows) IQ3_S 短回复 +8.4%
RTX PRO 5000 IQ3_S 短回复 +6.23%
Apple M5 Max IQ3_S +3.8%
DGX Spark IQ3_S +5.8%

但是,也不是没有代价。

DFlash2 与 MTP 对比

相比之下,MTP 在硬件兼容性和多并发下都有优势:

对比项目 DFlash2 MTP
显存占用 约 625MiB 约 5.2GB
额外文件 首次下载约 1.2GB 推测层约 5.2GB
单请求生成速度 多数官方测试更快 部分硬件更快
多并发 主要面向单请求 更适合多请求
低显存设备 优势明显 显存压力较大
支持范围 依赖特定模型与引擎 兼容范围更广
Strata 0.2.10 默认策略 单请求 Qwen3.8 优先 多并发等场景优先

两张显卡一起跑,代码编辑速度接近翻倍

针对多显卡,这次更新带来优化:All-cards Split Engine。

以前多显卡运行模型时,常见做法是将模型的不同层分配到不同显卡。新的方式则允许多张显卡共同处理每一层模型,让它们同时参与计算。

官方使用两张 RTX A6000,在 Linux 下运行 UD-Q4_K_XL,得到以下结果:

测试任务 原来的速度 新版速度
代码编辑 195 Token/s 377~394 Token/s
生成新代码 139~144 Token/s 189~232 Token/s
普通文本 93 Token/s 139~146 Token/s
Agent 循环 112~119 Token/s 165 Token/s

代码编辑任务的生成速度几乎翻倍。

还加入了一个编程专用的 DeepSeek 模型

Strata 0.2.10 新增了 ISTA-DAS Coder。它基于 DeepSeek-V4.1-Flash,针对编程和 Agent 任务进行了专家裁剪,每层只保留原来 384 个专家中的 192 个。

这样可以减少需要处理的专家权重。

官方测试中:

  • 单张 Radeon AI PRO R9700:22.8 Token/s。
  • 四张 R9700:59.2 Token/s。
  • Apple M5 Max:19.1~22.5 Token/s。
  • RTX PRO 6000 Blackwell:约 100 Token/s。

如何安装 Strata

  1. 打开 终端(按 ⌘ + 空格,输入“终端”)。
  2. 如果还没安装 Homebrew,先运行下面这条安装命令。
  3. 运行下面这条命令:

最近 10 个版本记录

最近一次更新为 2026-11-09,当前版本 v0.2.13,共记录最近 10 个版本。

版本发布日期类型大小macOSWindowsLinux
v0.2.132026-11-09稳定版161.4 MB下载下载下载
v0.2.122026-11-07稳定版161.1 MB下载下载下载
v0.2.112026-11-05稳定版161.0 MB下载下载下载
v0.2.102026-11-02稳定版160.8 MB下载下载下载
v0.2.92026-10-31稳定版160.3 MB下载下载下载
v0.2.82026-10-29稳定版160.2 MB下载下载下载
v0.2.72026-10-27稳定版160.2 MB下载下载下载
v0.2.62026-10-25稳定版159.0 MB下载下载下载
v0.2.52026-10-25稳定版159.1 MB下载下载下载
v0.2.42026-10-24稳定版158.7 MB下载下载下载

数据来自 GitHub Releases,稳定版优先,同类按发布时间排序。

与同类应用对比

只对比公开元数据,不做主观推荐;需要逐项对比时见对比页。

与同类应用对比
应用版本许可证架构近 30 天安装
Stratav0.2.13MIT通用二进制0
Codexrust-v0.169.0—通用二进制417,825
ollamav0.40.16MIT命令行63,182
Claude Code2.1.308—通用二进制60,329

AI 与机器学习中的类似应用

发表评论

评论表单加载中…