← 事件库 / Infrastructure

Strata 让 Qwen3.8-Flash-Next 跑在 12 GB 游戏显卡上

Strata 是 MIT 许可的推理引擎,把 Qwen3.8-Flash-Next 的 experts 分布到 GPU、内存、CPU 与 SSD。它提供 OpenAI 和 Anthropic 兼容的本地端点,最低配置为 12 GB GPU、32 GB 内存与约 80 GB SSD。作者在近期游戏显卡上报告每秒 60–94 个输出 token。

对你意味着什么

对想在本地评估超大稀疏模型的团队来说,Strata 给出了可落地的异构内存 serving 方案和 agent 兼容 API。仓库采用增长很快,值得试验;但速度仍是作者自测,激进量化也必须核对质量与重启行为。

前沿观察

公开材料与效果验证,分开看。

已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。

证据与关联材料

技术细节与六维评分
许可证 MIT
最低硬件 12 GB 受支持 GPU、32 GB 内存、约 80 GB SSD
接口 兼容 OpenAI 与 Anthropic API
作者速度 RTX 5070 Q2_0 为 94 tok/s;RX 9070 XT 为 60 tok/s
采用信号 复核时约 9.1k GitHub stars、831 forks
技术影响 3
工程价值 4
采用信号 5
成熟度 2
验证成本 3
风险 3