← 事件库 / Infrastructure

NVIDIA 开放 TensorRT 精度约束调优

NVIDIA 在 TensorRT 11.1 发布 Global Performance Tuner,并开放 trtexec 实现。它把精度设为约束,在不同 build route 中搜索 200 多项编译选项。NVIDIA 报告十个工作负载获得 1.14 至 1.63 倍提升,尚无独立复现。

可用状态:trtexec 开源实现已发布;Python 支持计划进入 Torch-TensorRT 2.15

对你意味着什么

对推理团队来说,这把手工 build route 调优变成带精度护栏的可重复搜索。性能数字仍是厂商自报,搜索成本也需要用自有工作负载核算。

证据与关联材料

技术细节与六维评分
版本 TensorRT 11.1
搜索空间 200 多项编译选项与多条 build route
指标边界 先用精度作约束,再按性能排序合格配置
发布方结果 十个工作负载提升 1.14 至 1.63 倍
可用性 trtexec 开源实现已发布;Python 支持计划进入 Torch-TensorRT 2.15
时间依据 NVIDIA feed 中 Part 1 发布于 2026-10-23T17:27:35Z,Part 2 发布于 17:27:52Z
技术影响 4
工程价值 4
采用信号 2
成熟度 4
验证成本 3
风险 2