JustFit 在 MLX runtime 中组合压缩 KV 执行、组件换入换出和保留状态的 serving 切换。在 24 GiB M4 Pro MacBook 上，Qwen3.8-27B MXFP4 连续三次完成 196K 输入加 16K 输出。这把单请求可完成上下文提高到论文所列 mlx-vlm 基线的 6.93 倍。极限上下文一次约需 103 分钟，因此结果主要证明容量，不代表交互速度。
JustFit 让 24 GiB Mac 跑通 200K 上下文
2026-09-16前沿观察TRIAL
JustFit 在 MLX runtime 中组合压缩 KV 执行、组件换入换出和保留状态的 serving 切换。在 24 GiB M4 Pro MacBook 上，Qwen3.8-27B MXFP4 连续三次完成 196K 输入加 16K 输出。这把单请求可完成上下文提高到论文所列 mlx-vlm 基线的 6.93 倍。极限上下文一次约需 103 分钟，因此结果主要证明容量，不代表交互速度。
本文来自既有扫描档案。迁移保留原判断，不代表在迁移时重新核验。
对你意味着什么
对本地 agent 团队来说，内存调度能在不改变模型权重量化的前提下支撑更长会话。实际用途更适合异步导入与前缀复用，而不是反复冷启动 200K prompt。应先在自己的硬件上复现公开分支，再把论文边界当作部署目标。
前沿观察
公开材料与效果验证，分开看。
已记录的事实是工作及其材料已公开。论文或作者报告的效果不自动等于独立复现。下一步关注可复用代码、任务设置和第三方验证。
证据与关联材料
技术细节与六维评分
| 硬件 | 24 GiB M4 Pro MacBook |
|---|---|
| 模型 | Qwen3.8-27B MXFP4 |
| 容量 | 196,608 输入 + 16,384 输出 token；共 212,992 个位置 |
| 相对基线 | 单请求完成上下文为 mlx-vlm 基线的 6.93 倍 |
| 速度 | 冷预填充约 48 分钟；极限下 4.99 tok/s；全程约 103 分钟 |
| 可复现性 | 公开分支持续变化；历史实验环境记录不完整 |
技术影响 4
工程价值 4
采用信号 1
成熟度 2
验证成本 3
风险 2