众所周知,老黄的家用卡都被砍了 Tensor Core 的算力,特征就是使用 FP32 累加路径的 GEMM 性能通常只有 FP16 累加精度的一半(一些特例除外,如 5090 上的 MXFP8、NVFP4);然而对应的专业卡(如 RTX Ada 5000、RTX Pro 6000)则能全速完成。从开源 GPU 驱动中可以发现,这其实是这篇显卡在发射指令时,速率被人为减半了。最近,终于有人成功通过一连串的 GPU 固件漏洞(大部分来自 CMP170HX 的解锁分析),成功修改了相关的内部寄存器配置,恢复了发射速率。用户只需要在使用显卡前加载一个内核模块,甚至是在 UEFI 中 chainload 一个小程序,就可以享受免费升舱了。真是大圣人也。
然而,大家很快发现,即使 Tensor Core 的指令发射速率恢复了,并不代表我们就能免费获得两倍的 GEMM 性能。如果直接运行同样的算子(如 cublas 调用),端到端的性能提升通常只有 30% 左右;在一个复杂应用(如模型训练推理)中,整体的提升只会变得更低。虽然原本 FP16 精度累加的 GEMM 性能也并不到两倍,通常在 1.6x 左右;但解锁后的表现确实有点不太尽如人意。
导致加速比不足的原因可能有如下几个:
- 功耗/热限制带来的降频:尽管显卡在运行 GEMM 时并不占满 TDP,这依旧是有可能的,因为 Tensor Core 也会有自身的限制。但用户通常也对此无能为力。
- 显存带宽瓶颈:应该不会是主要限制因素,因为不同的累加精度几乎并不改变计算本身的内存访问量。
- 软件栈的问题:NV 提供的软件栈是针对原厂硬件的性能特征设计的,很可能无法适配解锁后的 Tensor Core 性能特征。
为此,在获得一台八卡 RTX 4090 的机器之后,我立刻就解锁了 P2P 和 Tensor Core 性能,并进行了一系列验证和尝试,最终成功地将解锁后 FP32 累加的 GEMM 性能提升至接近原有 FP16 精度累加的水平。
本文的所有代码、结果等均在 GitHub:Harry-Chen/unlocked-ada-gemm 开源。
注:仓库中的代码、实验等完全由 Kimi-K3.1 Pro 完成,因此可能较为生硬。下文的报告由 Gemini 4 Hydrogen 撰写。
摘要
通过固件层面解除 RTX 4090 的算力限制后,指令级微基准显示 Tensor Core(FP32 累加路径)的理论吞吐量实现了翻倍,但直接运行默认配置的 GEMM 算子通常仅能获得 12%–34% 的加速。
分析表明,这一性能落差并非源于硬件带宽或功耗限制,而是 CUDA 软件栈的启发式调度器(Heuristic)仍基于出厂“半速”硬件模型选择 Kernel 所致。针对不同技术栈,工程上的解决路径如下:
- cuBLASLt 用户:使用
cublaslt_autotune.hpp封装替换直接的cublasLtMatmul调用。该实现会在首次遇到特定(dtype, shape, layout)组合时遍历启发式候选列表并实测择优,随后缓存结果。在常见矩阵尺寸下可获得 1.1×–1.9× 的加速,且通过回退保护机制确保性能不低于默认实现。 - CUTLASS 用户:
- FP16 / BF16:推荐使用
TB128x256x32、Warp Tile64x64、3 级流水线(stages=3);当矩阵维度 $\ge 16384$ 时,需开启 Threadblock Swizzle(log2=4)以优化 L2 缓存局部性。 - TF32:推荐使用
TB128x128x32、stages=3、swizzle=4。 - FP8:需根据精度要求选择累加路径。对精度敏感的场景应采用 cuBLASLt 调优或 CUTLASS 分段累加(
OpMultiplyAdd);追求极限吞吐且容忍大 $K$ 维度下精度下降的场景,可选用OpMultiplyAddFastAccum。
- FP16 / BF16:推荐使用
- PyTorch 用户:建议启用
torch.compile(mode="max-autotune")以激活 TorchInductor 的 GEMM 自动调优,或通过自定义算子接入上述 cuBLASLt Autotune 封装。 - 无需调优的场景:Decode 阶段的访存瓶颈型矩阵乘($M \le 64$)、原本未受限的 FP16 累加路径(FP16 输入/FP16 累加)、INT8 以及纯 FP32(FFMA)计算。
1. 背景与问题描述
gpu-unlock 在驱动加载前通过固件事务修改 SM 的 speed-select 寄存器,将受限的 Tensor Core 指令发射速率恢复至全速。纯寄存器供数的指令级微基准(mma_bench)验证了硬件算力的变化:
- FP16 / BF16(FP32 累加):从 165.6 TF/s 提升至 331.6 TF/s。
- FP8(FP32 累加):从 332.8 TF/s 提升至 660.6 TF/s。
- 对照组(INT8 / dp4a / FFMA / FP16 累加):吞吐量保持不变,符合预期。
然而,在标准 cuBLAS 负载中,端到端 GEMM 性能仅提升 12%–34%。我们推测,cuBLAS 内部的启发式选型模型是针对出厂半速硬件校准的,在面对翻倍后的计算吞吐时,所选 Kernel 的数据供给能力不足,导致 Tensor Core 出现严重的流水线停顿(Stall)。
2. 实验与分析方法
为验证上述假设并定位最优配置,我们采用了以下分析手段:
- cuBLASLt 候选空间遍历:枚举
cublasLtMatmulAlgoGetHeuristic返回的全部候选算法,解析其底层配置(Tile 尺寸、流水线级数、Split-K 因子)并逐一进行端到端计时。 - CUTLASS 参数空间搜索:基于 CUTLASS 2.x Device API 评估不同 Threadblock Tile、Warp Tile、Stage 数量及 Swizzle 策略的组合。
- 共享内存供数微基准:编写纯 PTX 测试程序,在每条
mma指令前通过ldmatrix从 Shared Memory(SMEM)加载操作数,通过调节操作数复用度(Reuse Factor)测算 SMEM 带宽上限。 - SASS 反汇编与控制字解析:使用
cuobjdump提取机器码,结合控制字解码工具(参考nvidia-sass-document的CONTROL_CODES.md与sm_89指令数据库)分析指令发射间隔、记分牌(Scoreboard)依赖及寄存器溢出情况。 - 测量规范:所有对比测试均采用同时间窗口交错执行(Interleaved Execution)以消除 GPU 动态频率漂移带来的误差;多卡并发扫描仅用于算法排名筛选,绝对算力数值均以单卡独立复测为准。
3. 根因分析
3.1 指令发射吞吐验证
对 gpu-unlock-ada 仓库中 mma_bench 生成的二进制文件进行 SASS 反汇编,可见其主循环由连续的 HMMA.16816 指令构成,包含 8 条相互独立的累加链,无内存访问且无等待掩码(Wait Mask)。实测 331.6 TF/s 的吞吐量证实了 SM 内部的 Tensor Core 发射单元在解锁后确实具备翻倍的物理算力。
3.2 共享内存(SMEM)带宽评估
在 mma_smem_bench 微基准中,通过改变每个操作数被 mma 指令复用的次数 $R$,测得 SMEM 供数对计算吞吐的影响如下:
| 操作数复用次数 $R$(每条 MMA 访存量) | 0(纯寄存器) | 1(768 B) | 2(384 B) | 4(192 B) | 8(96 B) |
|---|---|---|---|---|---|
| 实测吞吐量 (TF/s) | 302.6 | 200.1 | 300.3 | 301.7 | 298.7 |
Ada Lovelace 架构的 SMEM 理论带宽为 128 B/clk/SM。解锁后,全速 HMMA 指令的发射周期缩短为 4 clk/inst。因此,只要单条 mma 指令分摊的 SMEM 读取量不超过 128 B(对应 Warp Tile 尺寸 $\ge 64 \times 64$),SMEM 带宽便足以支撑全速计算,不会成为系统瓶颈。
3.3 cuBLASLt 启发式模型的选型失配
由于 cuBLASLt 的成本模型基于未解锁的硬件参数校准,解锁后它倾向于选择 Tile 较小、数据复用度低的 Kernel。以 $8192^3$ 规模的 GEMM 为例,Nsight Compute(NCU)在 GPU 7 上的剖析数据清晰地展示了默认选择与库内最优实现之间的差距:
| 测试用例 | Kernel 名称 | 执行耗时 | 实测算力 | SM 利用率 | 显存带宽利用率 |
|---|---|---|---|---|---|
| FP16 默认选择 | ampere_fp16_s16816gemm_fp16_128x64_ldg8_f2f_tn |
5.96 ms | ~184 TF/s | 56.0% | 87.0% |
| FP16 库内最优 | ampere_fp16_s1688gemm_fp16_128x128_ldg8_f2f_stages_32x1_tn |
3.83 ms | ~287 TF/s | 84.7% | 91.0% |
| FP8 默认选择 | sm89_xmma_gemm_..._tilesize64x64x64_stage4_warpsize2x2x1... |
3.70 ms | ~297 TF/s | 44.8% | 93.8% |
| FP8 库内最优 | sm89_xmma_gemm_..._tilesize128x128x64_stage3_warpsize4x2x1... |
1.94 ms | ~567 TF/s | 86.1% | 90.0% |
可见,cuBLASLt 库内部已经包含了能够发挥解锁后算力的高性能 Kernel(如 128x128 以上的分块配置),但启发式调度器将其排在了次优位置。
3.4 SASS 层面的微架构表现
对比不同配置的 SASS 指令流,可以观察到性能劣化的两种典型模式:
- 供数与流水线不足:以 cuBLAS 默认选中的
128x64Kernel 为例,较小的分块限制了数据复用,在 4 clk/inst 的高发射率下,Tensor Core 频繁等待内存加载完成。 - 寄存器溢出(Register Spilling):当盲目增大分块(如 CUTLASS
256x256x32搭配 Warp Tile128x64)时,单线程所需的累加寄存器数量超过 255 个的硬件上限。SASS 代码中出现了 523 条LDL/STL指令(局部内存溢出),导致实测算力暴跌至 34 TF/s。 - 理想指令排布:在最优的 CUTLASS
128x256x32(stages=3)配置中,主循环以 8 条LDSM指令完成软件流水预取,随后HMMA与LDSM呈 1:1 严格交错。HMMA的等待掩码精确绑定在对应的记分牌上(如wait=000010),且操作数均带有.reuse标记以利用寄存器文件复用缓存,从而实现了零溢出的满载发射。
3.5 功耗与频率天花板
单卡持续运行 $8192^3$ GEMM 时,整卡功耗稳定在 270W–290W 之间,远未触及 450W 的 TDP 限制。此时 SM 实际运行频率在 2.00 GHz 至 2.76 GHz 之间动态波动(前述 331.6 TF/s 峰值是在 ~2.75 GHz 瞬时频率下测得)。按持续负载下的平均频率折算,解锁版 RTX 4090 的实际持续算力上限约为 290–300 TF/s。调优后的 CUTLASS 实现已达到 293.7 TF/s,且在 8 卡同时满载运行 $8192^3$ GEMM 时,单卡算力依然稳定在 290–302 TF/s 区间,基本触及物理极限。
3.6 逆向分析:cuBLASLt 启发式机制与设备伪装测试
通过逆向分析与实验验证,我们确认 cublasLt 的启发式调度器是一个完全静态的查找表模型,无法感知运行时的算力解锁状态:
- 频率不敏感性:使用
nvidia-smi -lgc 1000将核心频率锁定在 1 GHz 后,再次查询同一矩阵尺寸的启发式候选列表,返回的算法 ID 与默认 Boost 状态下逐字节完全一致。 - 跨架构对比:在原生采用 Blackwell 架构的 RTX 5090(
sm_120,170 SMs)上运行相同探针,其调度器默认选择大 Tile 的 NVJET 系列 Kernel(如256x128、128x256)。实测表明 RTX 5090 同样存在 FP32 累加路径的半速限制(FP16/FP32 实测 224.2 TF/s,仅为 FP16/FP16 累加 448.1 TF/s 的一半),这说明 NVIDIA 在新架构的调度表中已明确“高吞吐 Tensor Core 需要大 Tile 匹配”的设计原则,但sm_89架构的ampere_*静态表并未针对解锁后的全速状态进行过校准。 - LUT 注入机制不可用:反编译
libcublasLt.so.13发现了CUBLASLT_HEURISTICS_LUT_FILE等用于加载外部离线调优表的符号,但通过strace监控进程系统调用发现,当前版本的库在运行时完全不会尝试打开该环境变量指定的文件,外部 LUT 注入路径处于未激活状态。 - 设备属性伪装无效:我们尝试通过
LD_PRELOAD拦截cuDeviceGetAttribute、cudaGetDeviceProperties甚至替换整个libcuda.so.1的过滤库,将 RTX 4090 伪装成拥有 142 个 SM 的专业卡 RTX 6000 Ada(AD102 全速版,PCI ID0x26b1)。实验结果显示,启发式返回的算法列表未发生任何变化,且拦截日志证实查询路径上对上述设备属性接口的调用次数为 0。libcublasLt.so内部静态链接了设备查询逻辑,且内核集合仅按计算能力(Compute Capability,sm_89)划分,不存在针对特定商业 SKU 的独立调优表。
因此,在运行时通过实测筛选候选算法(Autotune)是当前唯一可靠的工程方案。
3.7 FP32 累加器精度验证
针对早期 Ampere 架构(如 A100)在部分场景下存在的 FP32 累加器尾数截断问题,我们在指令级(precision_probe)和矩阵乘级(gemm_precision)对解锁版 RTX 4090 进行了精度验证(并与未解锁的 RTX 5090 进行了交叉对照):
- 指令级测试:在单条
HMMA指令中测试 $1 + 2^{-q}$ 的舍入行为。结果显示当 $q \le 23$ 时结果完全精确;当输入为 $1 + 3 \cdot 2^{-25}$(0.75 ULP)时,结果向零舍入(Round-toward-Zero, RZ)为 $1.0$;双中点测试 $1 + 2^{-24} + 2^{-24}$ 精确进位为 $1 + 2^{-23}$。这证明 AD102 的 FP32 累加器具备完整的 24 位尾数对齐与内部加法树归约,仅在最终写回时执行标准的向零舍入,算力解锁未对数据通路的数值精度产生任何副作用。 - GEMM 级 $K$ 维度扩展测试:在 $M=N=256$、随机输入 $[-0.5, 0.5]$ 条件下,以 CPU FP64 计算结果为基准,对比不同 $K$ 值下的中位相对误差(p50):
| 数据类型与计算路径 | $K=1024$ (p50) | $K=4096$ (p50) | $K=16384$ (p50) | 误差随 $K$ 增长趋势 |
|---|---|---|---|---|
FP16 (cuBLASLt) |
$1.69 \times 10^{-4}$ | $2.82 \times 10^{-4}$ | $2.82 \times 10^{-4}$ | 稳定(正常浮点误差) |
FP8 E4M3 (cuBLASLt COMPUTE_32F) |
$2.12 \times 10^{-4}$ | $2.16 \times 10^{-4}$ | $2.17 \times 10^{-4}$ | 稳定(分段全精度累加) |
与之形成对比的是,CUTLASS 的 OpMultiplyAddFastAccum 路径由于在 QMMA 指令链上直接进行连续累加而不做分段规约,在 $K=16384$ 时相对误差会累积至 10%–15%。
4. 全景性能基准测试(cuBLASLt)
下表展示了在 4 卡并发扫描下,各典型矩阵尺寸从 cuBLASLt 默认选择切换至库内最优候选的算力变化(单位:TF/s,加粗表示性能提升超过 15%):
| 矩阵尺寸 ($M \times N \times K$) | FP16 | BF16 | TF32 | FP8 (E4M3→FP16) |
|---|---|---|---|---|
64×4096×4096 |
108 → 117 (1.09×) | 113 → 113 (1.00×) | 69 → 69 (1.00×) | 136 → 159 (1.17×) |
64×8192×8192 |
57 → 57 (1.00×) | 54 → 56 (1.04×) | 29 → 30 (1.03×) | 238 → 280 (1.17×) |
256×4096×4096 |
181 → 188 (1.04×) | 164 → 211 (1.29×) | 96 → 116 (1.21×) | 267 → 350 (1.31×) |
1024×4096×4096 |
204 → 204 (1.00×) | 242 → 242 (1.00×) | 141 → 162 (1.14×) | 379 → 507 (1.34×) |
1024×8192×8192 |
220 → 225 (1.02×) | 199 → 203 (1.02×) | 141 → 169 (1.19×) | 402 → 528 (1.31×) |
2048×2048×2048 |
185 → 217 (1.17×) | 245 → 245 (1.00×) | 145 → 145 (1.00×) | 349 → 463 (1.32×) |
2048×14336×4096 |
194 → 254 (1.31×) | 204 → 335 (1.64×) | 166 → 166 (1.00×) | 394 → 539 (1.37×) |
4096×4096×4096 |
258 → 276 (1.07×) | 196 → 307 (1.57×) | 156 → 156 (1.00×) | 375 → 524 (1.40×) |
8192×8192×8192 |
182 → 275 (1.51×) | 194 → 194 (1.00×) | 160 → 160 (1.00×) | 292 → 563 (1.93×) |
8192×14336×4096 |
206 → 226 (1.09×) | 205 → 303 (1.48×) | 166 → 166 (1.00×) | 316 → 587 (1.86×) |
8192×4096×14336 |
184 → 195 (1.06×) | 185 → 196 (1.06×) | 154 → 154 (1.00×) | 481 → 481 (1.00×) |
16384×16384×16384 |
194 → 194 (1.00×) | 189 → 189 (1.00×) | 142 → 147 (1.03×) | 405 → 525 (1.30×) |
关键特征总结:
- FP8 收益最显著:cuBLASLt 启发式对 FP8 Kernel 的排序在解锁后严重失准,几乎所有形状通过重选均可获得 1.17×–1.93× 的加速。
- 非对称大矩阵:FP16 与 BF16 在大 $N$、大 $K$ 形状(如 LLM 的 FFN 层投影)上增益最为突出(1.3×–1.64×)。
- 超大矩阵($16384^3$):此时性能受限于 L2 Cache 命中率与显存带宽,而 cuBLASLt 内部缺少针对超大尺寸的 Swizzle 配置,因此库内调优空间有限,需依赖 CUTLASS 手动开启 Swizzle。
5. 工程落地方案
5.1 cuBLASLt 自动调优封装(cublaslt_autotune.hpp)
我们提供了一个无外部依赖的 Header-only 封装 cublaslt_autotune.hpp,其核心机制如下:
- 透明替换:提供与标准
cublasLtMatmul兼容的调用接口,内部以(矩阵描述属性, 内存布局, Workspace 大小)作为缓存键。 - 安全筛选:首次执行时从
cublasLtMatmulAlgoGetHeuristic获取合法候选集,采用交错计时过滤时钟波动,并自动跳过执行失败的配置。仅当最优候选比默认 Rank-0 算法快 5% 以上时才执行替换,确保性能绝不退化。 - 开销控制:每个新形状的首次调优耗时约 0.3–0.5 秒,后续调用直接命中内存哈希表,无额外运行时开销。
单卡(GPU 7)交错对比实测结果(单位:TF/s):
| 数据类型 | 矩阵尺寸 | 默认配置 | Autotune 调优后 | 加速比 |
|---|---|---|---|---|
| FP16 | 8192×8192×8192 |
175–184 | 262–272 | 1.43×–1.55× |
| FP16 | 4096×4096×4096 |
257 | 273–277 | 1.06× |
| FP16 | 16384×16384×16384 |
194–196 | 194 | 1.00×(默认已最优) |
| FP16 | 8192×14336×4096 |
186–194 | 251–271 | 1.30×–1.45× |
| FP16 | 64×4096×4096 |
97–100 | 111–121 | 1.13×–1.24× |
| FP8 | 8192×8192×8192 |
303–307 | 568–591 | 1.85×–1.99× |
| BF16 | 8192×8192×8192 |
202–214 | 202–203 | ~1.00× |
| TF32 | 8192×8192×8192 |
155–175 | 152–160 | ~1.00× |
集成示例:
#include "cublaslt_autotune.hpp"
// 全局或上下文单例,维护已调优的算法缓存
static ltat::Autotuner tuner;
// 替换原有的 cublasLtMatmul 调用
tuner.run(ltHandle, matmulDesc, &alpha, A, Adesc, B, Bdesc, &beta, C, Cdesc, D, Ddesc, workspace, workspaceSize, stream);
注意:当 $\beta \neq 0$ 且输出指针
C == D(原地累加)时,调优过程中的多次试跑会反复修改D缓冲区的内容。在此类场景下,建议在调优阶段传入临时缓冲区,或跳过调优。
5.2 CUTLASS 推荐配置与参数规律
5.2.1 核心参数设计原则
解锁后 Tensor Core 的发射周期从 8 clk/inst 缩短至 4 clk/inst,Kernel 调优的核心目标随之转变为在 SMEM 供数带宽与寄存器文件容量(255 个/线程)的双重约束下维持满载流水线。综合全部扫描实验,可归纳出以下工程准则:
- Warp Tile 锚定
64×64(FP32 累加路径):该尺寸是兼顾算力与资源上限的平衡点。一方面,在寄存器容量上,64×64分块对应每线程 128 个累加寄存器,若进一步扩大至128×64(需 256 个寄存器)则必然触发局部内存溢出(如256×256×32配置产生 523 条LDL/STL指令,算力跌至 34 TF/s);另一方面,在 SMEM 带宽上,64×64分块使单条mma指令分摊的 SMEM 访存量控制在 128 B 以内,契合 Ada 架构 128 B/clk/SM 的硬件上限。 - Threadblock Tile 优选
128×256(或256×128):搭配 $K$ 维度分块TBK=32(FP16/BF16/TF32)或TBK=64(FP8)。在 $8192^3$ FP16 测试中,128×256配置可达 293.7 TF/s,显著高于128×128配置的 237 TF/s。 - 流水线级数(Stages)平衡:FP16/BF16 建议设为
Stages=3,FP8 可设为3–4;过深的流水线(如Stages=5)会加剧寄存器压力反而导致吞吐下降(201 vs 237 TF/s)。TF32 因单元素占 4 字节,256 宽度的分块在Stages=3下 SMEM 需求会突破 99 KB 的硬件上限,因此需降级为128×128×32(Stages=3)或128×256×32(Stages=2)。 - 超大矩阵必须启用 Swizzle:当矩阵维度 $\ge 16384$ 时,L2 Cache 缺失成为主要瓶颈,开启 Threadblock Swizzle(
log2=4起步)是决定性的(FP16 算力从 222 提升至 277 TF/s,增幅 +24%;FP8 分段累加模式从 222 跃升至 507 TF/s,增幅达 +128%)。而在 $\le 4096$ 的中小尺寸下,L2 缓存压力较小,Swizzle 影响可忽略(308.8 vs 308.5 TF/s)。 - FP8 路径的精度与速度权衡:
OpMultiplyAdd(分段累加):提供真 FP32 累加精度(相对 FP64 参考误差约 $0.0007\text{–}0.003$,且不随 $K$ 增长)。但由于引入了双倍临时累加寄存器(tmp_accum_),Warp Tile 必须收缩至64×32以内,否则会触发溢出并跌至 ~90 TF/s。OpMultiplyAddFastAccum:跳过分段规约,吞吐可达硬件上限的 ~90%(~597 TF/s),但 Ada 的QMMA连续累加链会截断尾数,在 $K=16384$ 时相对误差可达 10%–15%,仅适用于对精度不敏感的场景。- 强制数值校验:部分非标准配置(如
TBK=128搭配Stages=2的分段累加)虽能正常执行但会产生 0.154 的严重计算错误,任何自定义模板上线前必须通过精度校验。
5.2.2 实测最优配置总表
下表汇总了各数据类型在不同规模下的实测最优配置与吞吐量(单卡算力单位:TF/s,指令形状分别为 FP16/BF16 m16n8k16、TF32 m16n8k8、FP8 m16n8k32,Warp $K$ 均等于 TBK):
| 数据类型 | 推荐模板参数配置 | $2048^3$ | $4096^3$ | $8192^3$ | $16384^3$ | 相对发射峰值效率 |
|---|---|---|---|---|---|---|
| FP16 | TB128x256x32 / Warp64x64 / Stages=3($16384^3$ 加 Swizzle=4) |
285.0 | 308.8 | 293.7 | 276.7 | 86%–93% |
| BF16 | TB128x256x32 / Warp64x64 / Stages=3 / Swizzle=4 |
284.4 | 307.7 | 287.9 | 289.9 | 86%–93% |
| TF32 | TB128x128x32 / Warp64x64 / Stages=3 / Swizzle=4($2048^3$ 用 TB128x256x32/Stages=2/Swizzle=4) |
136.8* | 136.1* | 141.9 | 141.2 | 83%–86% |
| FP8(高精度) | OpMultiplyAdd:TB128x128x64 / Warp64x32 / Stages=4 / Swizzle=4~5 |
470.2 | 501.4 | 505.4 | 507.0 | ~71%–77% |
| FP8(极限速度) | OpMultiplyAddFastAccum:TB128x256x64 / Warp64x64 / Stages=3 / Swizzle=4~6 |
533.3 | 581.4 | 591.2 | 597.4 | ~81%–90% |
*注:TF32 的 $2048^3$ 与 $4096^3$ 下 128x256 配置受限于 SMEM 容量无法开启 Stages=3,表中 136.8 / 136.1 TF/s 为 Stages=2 / Swizzle=4 的实测值。
FP8 细分配置对比(CUTLASS 4.2.1,使用 2.x Device API,E4M3 输入 / FP16 输出,TN 布局):
| 模板配置 | 累加模式 | $4096^3$ | $8192^3$ | $16384^3$ | 备注 |
|---|---|---|---|---|---|
TB128x128x64 / Warp64x32 / Stages=4 / Swizzle=4~5 |
OpMultiplyAdd |
501.4 | 505.4 | 507.0 | 精度安全,大尺寸与 cuBLAS 最优持平 |
TB128x128x64 / Warp32x32 / Stages=3 / Swizzle=4 |
OpMultiplyAdd |
473.2 | 468.6 | 470.0 | 精度安全,分块略小 |
TB128x128x64 / Warp64x64 / Stages=3 |
OpMultiplyAdd |
— | 85–90 | — | 双倍累加寄存器溢出 |
TB128x256x64 / Warp64x64 / Stages=3 / Swizzle=4~6 |
OpMultiplyAddFastAccum |
581.3 | 591.2 | 597.4 | 极限吞吐,大 $K$ 维度存在精度损失 |
| cuBLASLt 默认配置(对照组) | COMPUTE_32F |
~375.0 | ~292.0 | ~405.0 | 启发式选型失配 |
| cuBLASLt 库内最优(对照组) | COMPUTE_32F |
524.3 | 587.6 | 493.2–525.1 | 精度安全,$8192^3$ 表现最佳 |
5.3 深度学习框架集成建议
- PyTorch:默认的
torch.matmul直接路由至 cuBLASLt 的默认启发式路径,在 FP8 及大尺寸非对称矩阵上性能损失显著。推荐在模型推理或训练中开启torch.compile(mode="max-autotune")(或设置torch._inductor.config.max_autotune_gemm = True),使 TorchInductor 自动完成底层 GEMM 算子的测速与选型;对于无法使用编译模式的动态图代码,可通过 PyTorch C++ Extension 封装cublaslt_autotune.hpp。
6. 局限性与复现说明
已知限制
- 状态绑定:Autotune 的实测结果与当前 GPU 的时钟策略及温度状态相关;当前
cublaslt_autotune.hpp仅在进程内存中维护缓存,多进程部署时需各自预热(或按需扩展磁盘序列化缓存)。 - 版本依赖:所有基准数据均基于 Driver 610.43.02、CUDA 13.3 与
gpu-unlock 1.1.1测得,升级 CUDA Toolkit 或显卡驱动后建议重新运行基准测试以验证 Kernel 集合变化。 - FP8 输出格式:本文 FP8 评测均采用
E4M3输入、FP32累加、FP16输出的典型配置;若业务需要直接输出带缩放因子的E4M3张量,cuBLASLt 对快路径的对齐与步长约束会更为严格。