MATRIX · 本地部署

vLLM 0.33 转向 CUDA 13，并加入 EFA 服务与新推理路径

Mon, 02 Nov 2026 16:56:00 GMT

vLLM 0.33 转向 CUDA 13，并加入 EFA 服务与新推理路径

原条目：vLLM 0.33 转向 CUDA 13 并加入 EFA 服务

为什么读：CUDA 基线与 serving 行为同时变化，直接影响自托管升级和回滚。

建议等级：ADOPT

来源：vLLM 0.33.0 release

NVIDIA 公开 Workload Map 架构与三条复用路径

Mon, 02 Nov 2026 16:56:00 GMT

NVIDIA 公开 Workload Map 架构与三条复用路径

原条目：NVIDIA 扩展 Run:ai 的 GPU 控制与 Workload Map 复用

为什么读：统一 workload 映射可减少平台适配，但采用与互操作仍主要由厂商证明。

建议等级：TRIAL

来源：Support New AI Frameworks Faster Using NVIDIA Workload Map · DSX AI Factory Workload Map repository · Workload Map v0.3.0 release

NVIDIA 发布面向 Blackwell GPU 的 1017 NVFP4 checkpoint

Sat, 31 Oct 2026 15:56:40 GMT

NVIDIA 发布面向 Blackwell GPU 的 1017 NVFP4 checkpoint

原条目：DeepSeek V4.1-Flash：新 CED/CSA2 架构、1M 上下文、开放权重

为什么读：NVIDIA 的 NVFP4 checkpoint 降低 Blackwell 部署门槛，但量化质量仍需实测。

建议等级：TRIAL

来源：DeepSeek V4.1 Flash 1017 NVFP4 model card

SenseNova 开放长上下文循环多模态模型

Sat, 31 Oct 2026 15:56:40 GMT

SenseNova 开放 SenseNova-Loop-9B-Preview 的权重与代码，无需申请并采用 Apache-2.0。它面向长上下文和 agent 工作流，可接收文本与图像；24 层模块重复执行两次，让 32 个独立 decoder 层完成 56 次计算，训练长度最高 256K。当前部署依赖 LightLLM main 或尚未合并的 SGLang PR。

建议等级：TRIAL

来源：SenseNova-Loop-9B-Preview model card · OpenSenseNova repository

OpenCode 持久化终端并加入实验性 agent 产物

Sat, 31 Oct 2026 15:56:40 GMT

OpenCode 2.2.4 把桌面终端改为 session 级，服务器重启后仍保留名称与 scrollback，并在 TUI 与窗口间同步。可选 provider API 允许 agent 创建、更新并托管 HTML 或静态产物；schedule 在 opencode serve 下运行并协调单次触发。2.2.5 又加入按比例设置的压缩缓冲，并修复大型 MCP stdio 消息、LiteLLM 上下文错误和切换模型或恢复后的 reasoning 保留。

为什么读：OpenCode 2.2 的持久 PTY 与调度原语会改变长任务工作流，但首发回归提示先小范围试用。

建议等级：TRIAL

来源：OpenCode 2.2.4 · OpenCode 2.2.5

FrontiersMind 开放 Lumma-Fev-v2 决策模型

Fri, 30 Oct 2026 16:01:56 GMT

FrontiersMind 开放 Lumma-Fev-v2 的 4B 与 27B 权重和推理代码，均为 Apache-2.0 许可且无需申请。它面向风险敏感决策，不是通用聊天模型。27B 版本要求 lumma-fev 0.3 以上和约 55 GB 空闲显存；预告的 0.1B 与 0.6B 版本尚未上线。

为什么读：Lumma 把决策模型权重与代码开放；校准和小型翻译集决定它只能先做有限试验。

建议等级：TRIAL

来源：Lumma-Fev-v2: decision models · Lumma-Fev-4B-v2 · Lumma-Fev-27B-v2

Pika Labs 开放 Pika H3 Flex 视频模型权重

Fri, 30 Oct 2026 16:01:56 GMT

Pika Labs 开放 Pika H3 Flex 权重，它以 MiniMax H3 为基础 LoRA，可在本地做带同步音频的 image-to-video。模型卡称支持六步生成、最多 12 个参考输入及原生 480p/768p；更高分辨率功能由托管 API 提供。仓库使用自定义 MiniMax H3 community license，并非 Apache 或 MIT。

建议等级：TRIAL

来源：Pika H3 Flex · Pika H3 Flex code

DiffuSpace 开放 Clover-35B-A3B-Preview 权重与代码

Fri, 30 Oct 2026 16:01:56 GMT

DiffuSpace 开放 Clover-35B-A3B-Preview 的权重与代码，采用 Apache-2.0 许可且无需申请。它是总参数 35B、每次激活约 3B 的 MoE 扩散语言模型，面向 coding agent，并提供 SGLang 与 llama.cpp 路径。benchmark 与吞吐数据均为发布方自测，尚未独立复现。

为什么读：Clover 的公开权重让扩散 coding 模型可验证，但厂商 benchmark 尚未复现。

建议等级：TRIAL

来源：Clover-35B-A3B-Preview · Clover-35B-A3B-Preview weights · Clover-35B-A3B-Preview code

NVIDIA 开放 NemoClaw 受控 agent 栈蓝图

Fri, 30 Oct 2026 16:01:56 GMT

NVIDIA 以 MIT 许可开放 NemoClaw 蓝图，用现有 agent harness、模型、NeMo 服务与 OpenShell 策略运行时组合专用 agent 栈。首批列出的集成包括 OpenClaw、Hermes Agent 与 LangChain Deep Agents。它是组合层，不是新的 agent harness；部署路径覆盖云、数据中心、DGX Spark 与 RTX。

为什么读：NemoClaw 给出可自持 agent 栈的公开组合路径；隔离与成本仍需独立实测。

建议等级：TRIAL

来源：Build specialized agents on a stack you control with NVIDIA NemoClaw · NVIDIA NemoClaw

Ollama 0.40.13 将 LFM3 音频与 omni 模型扩展到 Linux 和 Windows

Thu, 29 Oct 2026 16:05:08 GMT

Ollama 0.40.13 将 LFM3 音频与 omni 模型扩展到 Linux 和 Windows。

原条目：Ollama 为本地路由加入概率决策模型

建议等级：TRIAL

来源：Ollama 0.40.13 release

Granite Switch 4.1.1 用向后兼容适配器扩展十种语言 ASR

Thu, 29 Oct 2026 16:05:08 GMT

Granite Switch 4.1.1 用向后兼容适配器扩展十种语言 ASR。

原条目：IBM 在不改基础模型的情况下更新 Granite Switch 适配器

建议等级：TRIAL

来源：Granite Switch 4.1.1 update

AnySpeechRecognizer 与 AnyDecisionModel 开源 Apple 原生 AI 组件

Thu, 29 Oct 2026 16:05:08 GMT

AnySpeechRecognizer 0.1.0 与 AnyDecisionModel 0.6.0 是面向 Apple 平台的开源 Swift 包，分别处理端侧语音和受约束的模型决策。语音后端覆盖 Parakeet、Sortformer 与 Apple SpeechAnalyzer；决策后端包括 MLX、Core AI、llama.cpp、Jev 与 Ollama。它们要求 Swift 6.2 和较新的 Apple 系统，文档还明确指出两者的 Core AI 依赖目前不能同时启用。

为什么读：两个小团队 Swift 包补足 Apple 端侧语音与类型化决策工具链，同时明确暴露依赖冲突。

建议等级：TRIAL

来源：Introducing AnySpeechRecognizer and AnyDecisionModel · mattt/AnySpeechRecognizer · mattt/AnyDecisionModel

Run:ai 加入 CUDA 13.4 显存硬约束 GPU 切分

Wed, 28 Oct 2026 15:58:44 GMT

Run:ai 加入 CUDA 13.4 显存硬约束 GPU 切分

原条目：NVIDIA 扩展 Run:ai 的 GPU 控制与 Workload Map 复用

建议等级：TRIAL

来源：Memory-Enforced GPU Sharing in Kubernetes with NVIDIA CUDA 13.4 · KAI GPU Fractioning Operator

NVIDIA 开放 Metatron 人形机器人控制器权重

Wed, 28 Oct 2026 15:58:44 GMT

NVIDIA 发布无需申请即可下载的 Metatron v1 Unitree G1 人形机器人控制器权重，以及两个浏览器 ONNX 导出。公开产物覆盖行走、场景交互和恢复动作。发布未包含训练数据或完整复现包，周边动作资产也受单独条款约束。

建议等级：TRIAL

来源：NVIDIA Metatron v1 model repository · NVIDIA Metatron research project

OpenHands 1.34 为每个会话隔离运行时

Wed, 28 Oct 2026 15:58:44 GMT

OpenHands 1.34 增加逐会话 Docker runtime，并允许在现有 sandbox 中开启新会话。它把 session API key 从进程参数移到环境变量，让 automation KV secret 在 session key 轮换后仍可读取，并阻止不可信 Markdown 自定任意链接 target。这个 stable 版本位于 overlap，上一轮 manifest 未记录。

建议等级：TRIAL

来源：OpenHands 1.34.0 release

NVIDIA 开放 Nemotron 3.5 Transcribe 与 Granary v2

Wed, 28 Oct 2026 15:58:44 GMT

NVIDIA 发布开放权重 Nemotron 3.5 Transcribe，可做多语种转写、说话人归属、翻译和音频问答。这个 30B MoE 模型每次约激活 4B 参数，可处理最长一小时录音，不同任务支持的语言集合并不相同。Granary v2 公开可复用数据清洗流水线和覆盖 463,062 小时的 manifest；源音频仍受各语料原许可证约束。

为什么读：Nemotron 3.5 Transcribe 权重与 Granary v2 数据已开放，可直接验证多语种语音项目；厂商精度仍需目标音频复测。

建议等级：TRIAL

来源：NVIDIA Nemotron 3.5 Transcribe and Granary v2 · NVIDIA Nemotron 3.5 Transcribe model card and weights · NVIDIA Granary v2 dataset manifests

PaperPilot 在稳定版与实测数据缺席时快速升温

Mon, 26 Oct 2026 16:03:24 GMT

PaperPilot 把本地 PDF 操作封装成 CLI、MCP、REST、WASM 与桌面端。v0.6.0 明确标为 prerelease，仓库 benchmark 章节仍是占位内容，没有实测结果。召回复核时仓库约有 500 stars。

建议等级：IGNORE

来源：PaperPilot v0.6.0 prerelease · PaperPilot repository

Cline 同步增强改动可见性与失败恢复

Mon, 26 Oct 2026 16:03:24 GMT

Cline Desktop 0.0.49 加入改动文件视图、项目树、只读查看器、终端和本地模型管理。Desktop 与 extension 4.1.26 同时限制模型重试次数，恢复只输出 reasoning 后断线的回合，避免未知上下文大小触发反复压缩，并修复可能丢失全部工具的 Gemini API key 故障。

为什么读：Cline 同时增强改动核对与失败恢复，直接影响 coding agent 是否会重复工作或卡住回合。

建议等级：TRIAL

来源：Cline Desktop 0.0.49 release · Cline 4.1.26 release

Cerebras 公开 3T 参数模型的跨晶圆部署方法

Sun, 25 Oct 2026 15:57:07 GMT

Cerebras 公开 3T 参数模型的跨晶圆部署方法

原条目：Cerebras 发布机架级 CS-4：算力 750 PFLOPS

建议等级：WATCH

来源：How Cerebras deploys trillion-parameter models

GPU-Unlock 解锁 Ampere GeForce 的更快张量路径

Sun, 25 Oct 2026 15:57:07 GMT

GPU-Unlock 提供 Linux 内核模块，在驱动加载前修改 Ampere GeForce 固件路径，使 FP16/BF16 tensor core 使用更高 issue rate。项目作者报告 LLM prefill 提升 14%–36%，decode 基本不变；改动需要重启并触及未受支持的底层路径。

建议等级：WATCH

来源：Zagitta/gpu-unlock

Carbon-X 开放可本地运行的 DNA 语言模型

Sun, 25 Oct 2026 15:57:07 GMT

Carbon-X 是一个开放的 14.8B 单解码器模型，把 DNA 序列和自然语言放进同一 token 流。官方提供 Apache-2.0 权重、代码与 5 项 benchmark，声称平均分 66.7，单张 80GB GPU 可运行。它未经临床验证，也不应承担精确坐标操作。

为什么读：开放权重让敏感 DNA 可以留在本地，但厂商 benchmark 不能替代临床验证。

建议等级：TRIAL

来源：Carbon-X model card

Nanbeige 开放 33B 模型并提供 512K 上下文

Sun, 25 Oct 2026 15:57:07 GMT

Nanbeige 发布 Nanbeige4.3-33B 的 Apache-2.0 权重，支持 512K 上下文，并给出 Transformers、SGLang 与 vLLM 的部署方法。模型卡列出代码和办公任务成绩，但目前只有发布方评测，下载采用信号也仍很早。

为什么读：33B/512K 开放权重给本地长上下文多一个候选，代价与有效长度仍需实测。

建议等级：TRIAL

来源：Nanbeige4.3-33B model card

OpenAI 公开 Habitat 的多租户、缓存和全球放置设计

Sat, 24 Oct 2026 15:59:49 GMT

OpenAI 公开 Habitat 的多租户、缓存和全球放置设计

原条目：OpenAI Habitat 存储平台：70M req/s 的教训与 2 名工程师的 Rust 重写

建议等级：WATCH

来源：Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)

Ollama 0.40.9 加入 Apple Silicon 本地流式语音

Fri, 23 Oct 2026 16:04:55 GMT

Ollama 0.40.9 加入 Apple Silicon 本地流式语音

原条目：Ollama 为本地路由加入概率决策模型

建议等级：TRIAL

来源：Ollama 0.40.9 · Phonon model library

Artificial Analysis 独立评测 1017 的速度、任务成本与冗长度

Mon, 19 Oct 2026 16:04:44 GMT

Artificial Analysis 独立评测 1017 的速度、任务成本与冗长度

原条目：DeepSeek V4.1-Flash：新 CED/CSA2 架构、1M 上下文、开放权重

建议等级：TRIAL

来源：DeepSeek V4.1 Flash 1017 Max independent analysis

0.5.22 扩展 serving 性能路径并修复循环状态正确性问题

Mon, 19 Oct 2026 16:04:44 GMT

0.5.22 扩展 serving 性能路径并修复循环状态正确性问题

原条目：SGLang 0.5.22 加速模型加载并修复循环状态错误

为什么读：特定功能组合可能静默恢复错误状态，生产升级前必须先做正确性回归。

建议等级：TRIAL

来源：SGLang 0.5.22 release notes

vLLM 0.32 收紧安全默认值并扩展低精度推理

Sun, 18 Oct 2026 15:58:14 GMT

vLLM 0.32 收紧安全默认值并扩展低精度推理

原条目：vLLM 0.33 转向 CUDA 13 并加入 EFA 服务

为什么读：安全默认值、Python 版本与 streaming contract 同时变化，生产 serving 需要有计划地升级。

建议等级：ADOPT

来源：vLLM 0.32.0 release

Littleguys 0.2 增加 Claude Code 会话与加密手机桥接

Sun, 18 Oct 2026 15:58:14 GMT

Littleguys 0.2 增加 Claude Code 会话与加密手机桥接

原条目：Littleguys 0.2 接入 Claude Code 实时会话与加密手机桥接

建议等级：TRIAL

来源：Littleguys v0.2.0 release

Datalab 发布 1M 参数的 CPU OCR 流水线

Sun, 18 Oct 2026 15:58:14 GMT

Datalab 公开 Indra OCR 的模型、CLI 与 Python 包。主识别器约 1M 参数，整个 ONNX 模型包约 18 MB，可在 CPU 上把 PDF 和图片转为 Markdown、文本或带坐标的 JSON。作者报告在 4 个 x86 vCPU 上每页约 230 毫秒，并提供版面、阅读顺序和混合 PDF text-layer 处理。

建议等级：TRIAL

来源：Indra OCR model card and weights · Indra OCR source code

V4.1-Flash-1017 权重和托管更新上线

Sat, 17 Oct 2026 15:59:50 GMT

V4.1-Flash-1017 权重和托管更新上线

原条目：DeepSeek V4.1-Flash：新 CED/CSA2 架构、1M 上下文、开放权重

为什么读：权重与托管别名同步更新且无需迁移 API，但厂商 benchmark 需要同任务复测。

建议等级：TRIAL

来源：DeepSeek V4.1-Flash-1017 release · DeepSeek-V4.1-Flash-1017 weights