llama.cpp 0.7.0 增加 MoE 缓存并调整服务端 API

Fri, 16 Oct 2026 15:56:07 GMT

llama.cpp 0.7.0 为留在主机内存的 MoE 专家增加 GPU LRU 缓存，并加入 LiLiCorr 推测解码与更多模型架构。非 Docker 服务端默认端口从 8080 改为 9931，格式化 chat 返回值改为 parts 数组，RPC 协议升级到 v8。最高 2.2 倍解码提升来自项目自测，不是独立 benchmark。

为什么读：llama.cpp 0.7.0 的 MoE 缓存可能改善吞吐，但端口、响应结构与 RPC 变化要求升级回归。

建议等级：TRIAL

来源：llama.cpp v0.7.0

MATRIX · llama.cpp

llama.cpp 0.7.0 增加 MoE 缓存并调整服务端 API