解锁版 RTX 4090 的 GEMM 性能分析与工程调优

 

众所周知,老黄的家用卡都被砍了 Tensor Core 的算力,特征就是使用 FP32 累加路径的 GEMM 性能通常只有 FP16 累加精度的一半(一些特例除外,如 5090 上的 MXFP8、NVFP4);然而对应的专业卡(如 RTX Ada 5000、RTX Pro 6000)则能全速完成。从开源 GPU 驱动中可以发现,这其实是这篇显卡在发射指令时,速率被人为减半了。最近,终于有人成功通过一连串的 GPU 固件漏洞(大部分来自 CMP170HX 的解锁分析),成功修改了相关的内部寄存器配置,恢复了发射速率。用户只需要在使用显卡前加载一个内核模块,甚至是在 UEFI 中 chainload 一个小程序,就可以享受免费升舱了。真是大圣人也。

然而,大家很快发现,即使 Tensor Core 的指令发射速率恢复了,并不代表我们就能免费获得两倍的 GEMM 性能。如果直接运行同样的算子(如 cublas 调用),端到端的性能提升通常只有 30% 左右;在一个复杂应用(如模型训练推理)中,整体的提升只会变得更低。虽然原本 FP16 精度累加的 GEMM 性能也并不到两倍,通常在 1.6x 左右;但解锁后的表现确实有点不太尽如人意。

导致加速比不足的原因可能有如下几个:

  • 功耗/热限制带来的降频:尽管显卡在运行 GEMM 时并不占满 TDP,这依旧是有可能的,因为 Tensor Core 也会有自身的限制。但用户通常也对此无能为力。
  • 显存带宽瓶颈:应该不会是主要限制因素,因为不同的累加精度几乎并不改变计算本身的内存访问量。
  • 软件栈的问题:NV 提供的软件栈是针对原厂硬件的性能特征设计的,很可能无法适配解锁后的 Tensor Core 性能特征。

为此,在获得一台八卡 RTX 4090 的机器之后,我立刻就解锁了 P2P 和 Tensor Core 性能,并进行了一系列验证和尝试,最终成功地将解锁后 FP32 累加的 GEMM 性能提升至接近原有 FP16 精度累加的水平。

本文的所有代码、结果等均在 GitHub:Harry-Chen/unlocked-ada-gemm 开源。

注:仓库中的代码、实验等完全由 Kimi-K3.1 Pro 完成,因此可能较为生硬。下文的报告由 Gemini 4 Hydrogen 撰写。

摘要

通过固件层面解除 RTX 4090 的算力限制后,指令级微基准显示 Tensor Core(FP32 累加路径)的理论吞吐量实现了翻倍,但直接运行默认配置的 GEMM 算子通常仅能获得 12%–34% 的加速。

分析表明,这一性能落差并非源于硬件带宽或功耗限制,而是 CUDA 软件栈的启发式调度器(Heuristic)仍基于出厂“半速”硬件模型选择 Kernel 所致。针对不同技术栈,工程上的解决路径如下:

  • cuBLASLt 用户:使用 cublaslt_autotune.hpp 封装替换直接的 cublasLtMatmul 调用。该实现会在首次遇到特定 (dtype, shape, layout) 组合时遍历启发式候选列表并实测择优,随后缓存结果。在常见矩阵尺寸下可获得 1.1×–1.9× 的加速,且通过回退保护机制确保性能不低于默认实现。
  • CUTLASS 用户:
    • FP16 / BF16:推荐使用 TB128x256x32、Warp Tile 64x64、3 级流水线(stages=3);当矩阵维度 $\ge 16384$ 时,需开启 Threadblock Swizzle(log2=4)以优化 L2 缓存局部性。
    • TF32:推荐使用 TB128x128x32、stages=3、swizzle=4。
    • FP8:需根据精度要求选择累加路径。对精度敏感的场景应采用 cuBLASLt 调优或 CUTLASS 分段累加(OpMultiplyAdd);追求极限吞吐且容忍大 $K$ 维度下精度下降的场景,可选用 OpMultiplyAddFastAccum。
  • PyTorch 用户:建议启用 torch.compile(mode="max-autotune") 以激活 TorchInductor 的 GEMM 自动调优,或通过自定义算子接入上述 cuBLASLt Autotune 封装。
  • 无需调优的场景:Decode 阶段的访存瓶颈型矩阵乘($M \le 64$)、原本未受限的 FP16 累加路径(FP16 输入/FP16 累加)、INT8 以及纯 FP32(FFMA)计算。

1. 背景与问题描述

gpu-unlock 在驱动加载前通过固件事务修改 SM 的 speed-select 寄存器,将受限的 Tensor Core 指令发射速率恢复至全速。纯寄存器供数的指令级微基准(mma_bench)验证了硬件算力的变化:

  • FP16 / BF16(FP32 累加):从 165.6 TF/s 提升至 331.6 TF/s。
  • FP8(FP32 累加):从 332.8 TF/s 提升至 660.6 TF/s。
  • 对照组(INT8 / dp4a / FFMA / FP16 累加):吞吐量保持不变,符合预期。

然而,在标准 cuBLAS 负载中,端到端 GEMM 性能仅提升 12%–34%。我们推测,cuBLAS 内部的启发式选型模型是针对出厂半速硬件校准的,在面对翻倍后的计算吞吐时,所选 Kernel 的数据供给能力不足,导致 Tensor Core 出现严重的流水线停顿(Stall)。

2. 实验与分析方法

为验证上述假设并定位最优配置,我们采用了以下分析手段:

  1. cuBLASLt 候选空间遍历:枚举 cublasLtMatmulAlgoGetHeuristic 返回的全部候选算法,解析其底层配置(Tile 尺寸、流水线级数、Split-K 因子)并逐一进行端到端计时。
  2. CUTLASS 参数空间搜索:基于 CUTLASS 2.x Device API 评估不同 Threadblock Tile、Warp Tile、Stage 数量及 Swizzle 策略的组合。
  3. 共享内存供数微基准:编写纯 PTX 测试程序,在每条 mma 指令前通过 ldmatrix 从 Shared Memory(SMEM)加载操作数,通过调节操作数复用度(Reuse Factor)测算 SMEM 带宽上限。
  4. SASS 反汇编与控制字解析:使用 cuobjdump 提取机器码,结合控制字解码工具(参考 nvidia-sass-document 的 CONTROL_CODES.md 与 sm_89 指令数据库)分析指令发射间隔、记分牌(Scoreboard)依赖及寄存器溢出情况。
  5. 测量规范:所有对比测试均采用同时间窗口交错执行(Interleaved Execution)以消除 GPU 动态频率漂移带来的误差;多卡并发扫描仅用于算法排名筛选,绝对算力数值均以单卡独立复测为准。

3. 根因分析

3.1 指令发射吞吐验证

对 gpu-unlock-ada 仓库中 mma_bench 生成的二进制文件进行 SASS 反汇编,可见其主循环由连续的 HMMA.16816 指令构成,包含 8 条相互独立的累加链,无内存访问且无等待掩码(Wait Mask)。实测 331.6 TF/s 的吞吐量证实了 SM 内部的 Tensor Core 发射单元在解锁后确实具备翻倍的物理算力。

3.2 共享内存(SMEM)带宽评估

在 mma_smem_bench 微基准中,通过改变每个操作数被 mma 指令复用的次数 $R$,测得 SMEM 供数对计算吞吐的影响如下:

操作数复用次数 $R$(每条 MMA 访存量) 0(纯寄存器) 1(768 B) 2(384 B) 4(192 B) 8(96 B)
实测吞吐量 (TF/s) 302.6 200.1 300.3 301.7 298.7

Ada Lovelace 架构的 SMEM 理论带宽为 128 B/clk/SM。解锁后,全速 HMMA 指令的发射周期缩短为 4 clk/inst。因此,只要单条 mma 指令分摊的 SMEM 读取量不超过 128 B(对应 Warp Tile 尺寸 $\ge 64 \times 64$),SMEM 带宽便足以支撑全速计算,不会成为系统瓶颈。

3.3 cuBLASLt 启发式模型的选型失配

由于 cuBLASLt 的成本模型基于未解锁的硬件参数校准,解锁后它倾向于选择 Tile 较小、数据复用度低的 Kernel。以 $8192^3$ 规模的 GEMM 为例,Nsight Compute(NCU)在 GPU 7 上的剖析数据清晰地展示了默认选择与库内最优实现之间的差距:

测试用例 Kernel 名称 执行耗时 实测算力 SM 利用率 显存带宽利用率
FP16 默认选择 ampere_fp16_s16816gemm_fp16_128x64_ldg8_f2f_tn 5.96 ms ~184 TF/s 56.0% 87.0%
FP16 库内最优 ampere_fp16_s1688gemm_fp16_128x128_ldg8_f2f_stages_32x1_tn 3.83 ms ~287 TF/s 84.7% 91.0%
FP8 默认选择 sm89_xmma_gemm_..._tilesize64x64x64_stage4_warpsize2x2x1... 3.70 ms ~297 TF/s 44.8% 93.8%
FP8 库内最优 sm89_xmma_gemm_..._tilesize128x128x64_stage3_warpsize4x2x1... 1.94 ms ~567 TF/s 86.1% 90.0%

可见,cuBLASLt 库内部已经包含了能够发挥解锁后算力的高性能 Kernel(如 128x128 以上的分块配置),但启发式调度器将其排在了次优位置。

3.4 SASS 层面的微架构表现

对比不同配置的 SASS 指令流,可以观察到性能劣化的两种典型模式:

  1. 供数与流水线不足:以 cuBLAS 默认选中的 128x64 Kernel 为例,较小的分块限制了数据复用,在 4 clk/inst 的高发射率下,Tensor Core 频繁等待内存加载完成。
  2. 寄存器溢出(Register Spilling):当盲目增大分块(如 CUTLASS 256x256x32 搭配 Warp Tile 128x64)时,单线程所需的累加寄存器数量超过 255 个的硬件上限。SASS 代码中出现了 523 条 LDL/STL 指令(局部内存溢出),导致实测算力暴跌至 34 TF/s。
  3. 理想指令排布:在最优的 CUTLASS 128x256x32(stages=3)配置中,主循环以 8 条 LDSM 指令完成软件流水预取,随后 HMMA 与 LDSM 呈 1:1 严格交错。HMMA 的等待掩码精确绑定在对应的记分牌上(如 wait=000010),且操作数均带有 .reuse 标记以利用寄存器文件复用缓存,从而实现了零溢出的满载发射。

3.5 功耗与频率天花板

单卡持续运行 $8192^3$ GEMM 时,整卡功耗稳定在 270W–290W 之间,远未触及 450W 的 TDP 限制。此时 SM 实际运行频率在 2.00 GHz 至 2.76 GHz 之间动态波动(前述 331.6 TF/s 峰值是在 ~2.75 GHz 瞬时频率下测得)。按持续负载下的平均频率折算,解锁版 RTX 4090 的实际持续算力上限约为 290–300 TF/s。调优后的 CUTLASS 实现已达到 293.7 TF/s,且在 8 卡同时满载运行 $8192^3$ GEMM 时,单卡算力依然稳定在 290–302 TF/s 区间,基本触及物理极限。

3.6 逆向分析:cuBLASLt 启发式机制与设备伪装测试

通过逆向分析与实验验证,我们确认 cublasLt 的启发式调度器是一个完全静态的查找表模型,无法感知运行时的算力解锁状态:

  1. 频率不敏感性:使用 nvidia-smi -lgc 1000 将核心频率锁定在 1 GHz 后,再次查询同一矩阵尺寸的启发式候选列表,返回的算法 ID 与默认 Boost 状态下逐字节完全一致。
  2. 跨架构对比:在原生采用 Blackwell 架构的 RTX 5090(sm_120,170 SMs)上运行相同探针,其调度器默认选择大 Tile 的 NVJET 系列 Kernel(如 256x128、128x256)。实测表明 RTX 5090 同样存在 FP32 累加路径的半速限制(FP16/FP32 实测 224.2 TF/s,仅为 FP16/FP16 累加 448.1 TF/s 的一半),这说明 NVIDIA 在新架构的调度表中已明确“高吞吐 Tensor Core 需要大 Tile 匹配”的设计原则,但 sm_89 架构的 ampere_* 静态表并未针对解锁后的全速状态进行过校准。
  3. LUT 注入机制不可用:反编译 libcublasLt.so.13 发现了 CUBLASLT_HEURISTICS_LUT_FILE 等用于加载外部离线调优表的符号,但通过 strace 监控进程系统调用发现,当前版本的库在运行时完全不会尝试打开该环境变量指定的文件,外部 LUT 注入路径处于未激活状态。
  4. 设备属性伪装无效:我们尝试通过 LD_PRELOAD 拦截 cuDeviceGetAttribute、cudaGetDeviceProperties 甚至替换整个 libcuda.so.1 的过滤库,将 RTX 4090 伪装成拥有 142 个 SM 的专业卡 RTX 6000 Ada(AD102 全速版,PCI ID 0x26b1)。实验结果显示,启发式返回的算法列表未发生任何变化,且拦截日志证实查询路径上对上述设备属性接口的调用次数为 0。libcublasLt.so 内部静态链接了设备查询逻辑,且内核集合仅按计算能力(Compute Capability, sm_89)划分,不存在针对特定商业 SKU 的独立调优表。

因此,在运行时通过实测筛选候选算法(Autotune)是当前唯一可靠的工程方案。

3.7 FP32 累加器精度验证

针对早期 Ampere 架构(如 A100)在部分场景下存在的 FP32 累加器尾数截断问题,我们在指令级(precision_probe)和矩阵乘级(gemm_precision)对解锁版 RTX 4090 进行了精度验证(并与未解锁的 RTX 5090 进行了交叉对照):

  • 指令级测试:在单条 HMMA 指令中测试 $1 + 2^{-q}$ 的舍入行为。结果显示当 $q \le 23$ 时结果完全精确;当输入为 $1 + 3 \cdot 2^{-25}$(0.75 ULP)时,结果向零舍入(Round-toward-Zero, RZ)为 $1.0$;双中点测试 $1 + 2^{-24} + 2^{-24}$ 精确进位为 $1 + 2^{-23}$。这证明 AD102 的 FP32 累加器具备完整的 24 位尾数对齐与内部加法树归约,仅在最终写回时执行标准的向零舍入,算力解锁未对数据通路的数值精度产生任何副作用。
  • GEMM 级 $K$ 维度扩展测试:在 $M=N=256$、随机输入 $[-0.5, 0.5]$ 条件下,以 CPU FP64 计算结果为基准,对比不同 $K$ 值下的中位相对误差(p50):
数据类型与计算路径 $K=1024$ (p50) $K=4096$ (p50) $K=16384$ (p50) 误差随 $K$ 增长趋势
FP16 (cuBLASLt) $1.69 \times 10^{-4}$ $2.82 \times 10^{-4}$ $2.82 \times 10^{-4}$ 稳定(正常浮点误差)
FP8 E4M3 (cuBLASLt COMPUTE_32F) $2.12 \times 10^{-4}$ $2.16 \times 10^{-4}$ $2.17 \times 10^{-4}$ 稳定(分段全精度累加)

与之形成对比的是,CUTLASS 的 OpMultiplyAddFastAccum 路径由于在 QMMA 指令链上直接进行连续累加而不做分段规约,在 $K=16384$ 时相对误差会累积至 10%–15%。

4. 全景性能基准测试(cuBLASLt)

下表展示了在 4 卡并发扫描下,各典型矩阵尺寸从 cuBLASLt 默认选择切换至库内最优候选的算力变化(单位:TF/s,加粗表示性能提升超过 15%):

矩阵尺寸 ($M \times N \times K$) FP16 BF16 TF32 FP8 (E4M3→FP16)
64×4096×4096 108 → 117 (1.09×) 113 → 113 (1.00×) 69 → 69 (1.00×) 136 → 159 (1.17×)
64×8192×8192 57 → 57 (1.00×) 54 → 56 (1.04×) 29 → 30 (1.03×) 238 → 280 (1.17×)
256×4096×4096 181 → 188 (1.04×) 164 → 211 (1.29×) 96 → 116 (1.21×) 267 → 350 (1.31×)
1024×4096×4096 204 → 204 (1.00×) 242 → 242 (1.00×) 141 → 162 (1.14×) 379 → 507 (1.34×)
1024×8192×8192 220 → 225 (1.02×) 199 → 203 (1.02×) 141 → 169 (1.19×) 402 → 528 (1.31×)
2048×2048×2048 185 → 217 (1.17×) 245 → 245 (1.00×) 145 → 145 (1.00×) 349 → 463 (1.32×)
2048×14336×4096 194 → 254 (1.31×) 204 → 335 (1.64×) 166 → 166 (1.00×) 394 → 539 (1.37×)
4096×4096×4096 258 → 276 (1.07×) 196 → 307 (1.57×) 156 → 156 (1.00×) 375 → 524 (1.40×)
8192×8192×8192 182 → 275 (1.51×) 194 → 194 (1.00×) 160 → 160 (1.00×) 292 → 563 (1.93×)
8192×14336×4096 206 → 226 (1.09×) 205 → 303 (1.48×) 166 → 166 (1.00×) 316 → 587 (1.86×)
8192×4096×14336 184 → 195 (1.06×) 185 → 196 (1.06×) 154 → 154 (1.00×) 481 → 481 (1.00×)
16384×16384×16384 194 → 194 (1.00×) 189 → 189 (1.00×) 142 → 147 (1.03×) 405 → 525 (1.30×)

关键特征总结:

  • FP8 收益最显著:cuBLASLt 启发式对 FP8 Kernel 的排序在解锁后严重失准,几乎所有形状通过重选均可获得 1.17×–1.93× 的加速。
  • 非对称大矩阵:FP16 与 BF16 在大 $N$、大 $K$ 形状(如 LLM 的 FFN 层投影)上增益最为突出(1.3×–1.64×)。
  • 超大矩阵($16384^3$):此时性能受限于 L2 Cache 命中率与显存带宽,而 cuBLASLt 内部缺少针对超大尺寸的 Swizzle 配置,因此库内调优空间有限,需依赖 CUTLASS 手动开启 Swizzle。

5. 工程落地方案

5.1 cuBLASLt 自动调优封装(cublaslt_autotune.hpp)

我们提供了一个无外部依赖的 Header-only 封装 cublaslt_autotune.hpp,其核心机制如下:

  • 透明替换:提供与标准 cublasLtMatmul 兼容的调用接口,内部以 (矩阵描述属性, 内存布局, Workspace 大小) 作为缓存键。
  • 安全筛选:首次执行时从 cublasLtMatmulAlgoGetHeuristic 获取合法候选集,采用交错计时过滤时钟波动,并自动跳过执行失败的配置。仅当最优候选比默认 Rank-0 算法快 5% 以上时才执行替换,确保性能绝不退化。
  • 开销控制:每个新形状的首次调优耗时约 0.3–0.5 秒,后续调用直接命中内存哈希表,无额外运行时开销。

单卡(GPU 7)交错对比实测结果(单位:TF/s):

数据类型 矩阵尺寸 默认配置 Autotune 调优后 加速比
FP16 8192×8192×8192 175–184 262–272 1.43×–1.55×
FP16 4096×4096×4096 257 273–277 1.06×
FP16 16384×16384×16384 194–196 194 1.00×(默认已最优)
FP16 8192×14336×4096 186–194 251–271 1.30×–1.45×
FP16 64×4096×4096 97–100 111–121 1.13×–1.24×
FP8 8192×8192×8192 303–307 568–591 1.85×–1.99×
BF16 8192×8192×8192 202–214 202–203 ~1.00×
TF32 8192×8192×8192 155–175 152–160 ~1.00×

集成示例:

#include "cublaslt_autotune.hpp"

// 全局或上下文单例,维护已调优的算法缓存
static ltat::Autotuner tuner;

// 替换原有的 cublasLtMatmul 调用
tuner.run(ltHandle, matmulDesc, &alpha, A, Adesc, B, Bdesc, &beta, C, Cdesc, D, Ddesc, workspace, workspaceSize, stream);

注意:当 $\beta \neq 0$ 且输出指针 C == D(原地累加)时,调优过程中的多次试跑会反复修改 D 缓冲区的内容。在此类场景下,建议在调优阶段传入临时缓冲区,或跳过调优。

5.2 CUTLASS 推荐配置与参数规律

5.2.1 核心参数设计原则

解锁后 Tensor Core 的发射周期从 8 clk/inst 缩短至 4 clk/inst,Kernel 调优的核心目标随之转变为在 SMEM 供数带宽与寄存器文件容量(255 个/线程)的双重约束下维持满载流水线。综合全部扫描实验,可归纳出以下工程准则:

  1. Warp Tile 锚定 64×64(FP32 累加路径):该尺寸是兼顾算力与资源上限的平衡点。一方面,在寄存器容量上,64×64 分块对应每线程 128 个累加寄存器,若进一步扩大至 128×64(需 256 个寄存器)则必然触发局部内存溢出(如 256×256×32 配置产生 523 条 LDL/STL 指令,算力跌至 34 TF/s);另一方面,在 SMEM 带宽上,64×64 分块使单条 mma 指令分摊的 SMEM 访存量控制在 128 B 以内,契合 Ada 架构 128 B/clk/SM 的硬件上限。
  2. Threadblock Tile 优选 128×256(或 256×128):搭配 $K$ 维度分块 TBK=32(FP16/BF16/TF32)或 TBK=64(FP8)。在 $8192^3$ FP16 测试中,128×256 配置可达 293.7 TF/s,显著高于 128×128 配置的 237 TF/s。
  3. 流水线级数(Stages)平衡:FP16/BF16 建议设为 Stages=3,FP8 可设为 3–4;过深的流水线(如 Stages=5)会加剧寄存器压力反而导致吞吐下降(201 vs 237 TF/s)。TF32 因单元素占 4 字节,256 宽度的分块在 Stages=3 下 SMEM 需求会突破 99 KB 的硬件上限,因此需降级为 128×128×32(Stages=3)或 128×256×32(Stages=2)。
  4. 超大矩阵必须启用 Swizzle:当矩阵维度 $\ge 16384$ 时,L2 Cache 缺失成为主要瓶颈,开启 Threadblock Swizzle(log2=4 起步)是决定性的(FP16 算力从 222 提升至 277 TF/s,增幅 +24%;FP8 分段累加模式从 222 跃升至 507 TF/s,增幅达 +128%)。而在 $\le 4096$ 的中小尺寸下,L2 缓存压力较小,Swizzle 影响可忽略(308.8 vs 308.5 TF/s)。
  5. FP8 路径的精度与速度权衡:
    • OpMultiplyAdd(分段累加):提供真 FP32 累加精度(相对 FP64 参考误差约 $0.0007\text{–}0.003$,且不随 $K$ 增长)。但由于引入了双倍临时累加寄存器(tmp_accum_),Warp Tile 必须收缩至 64×32 以内,否则会触发溢出并跌至 ~90 TF/s。
    • OpMultiplyAddFastAccum:跳过分段规约,吞吐可达硬件上限的 ~90%(~597 TF/s),但 Ada 的 QMMA 连续累加链会截断尾数,在 $K=16384$ 时相对误差可达 10%–15%,仅适用于对精度不敏感的场景。
    • 强制数值校验:部分非标准配置(如 TBK=128 搭配 Stages=2 的分段累加)虽能正常执行但会产生 0.154 的严重计算错误,任何自定义模板上线前必须通过精度校验。

5.2.2 实测最优配置总表

下表汇总了各数据类型在不同规模下的实测最优配置与吞吐量(单卡算力单位:TF/s,指令形状分别为 FP16/BF16 m16n8k16、TF32 m16n8k8、FP8 m16n8k32,Warp $K$ 均等于 TBK):

数据类型 推荐模板参数配置 $2048^3$ $4096^3$ $8192^3$ $16384^3$ 相对发射峰值效率
FP16 TB128x256x32 / Warp64x64 / Stages=3($16384^3$ 加 Swizzle=4) 285.0 308.8 293.7 276.7 86%–93%
BF16 TB128x256x32 / Warp64x64 / Stages=3 / Swizzle=4 284.4 307.7 287.9 289.9 86%–93%
TF32 TB128x128x32 / Warp64x64 / Stages=3 / Swizzle=4($2048^3$ 用 TB128x256x32/Stages=2/Swizzle=4) 136.8* 136.1* 141.9 141.2 83%–86%
FP8(高精度) OpMultiplyAdd:TB128x128x64 / Warp64x32 / Stages=4 / Swizzle=4~5 470.2 501.4 505.4 507.0 ~71%–77%
FP8(极限速度) OpMultiplyAddFastAccum:TB128x256x64 / Warp64x64 / Stages=3 / Swizzle=4~6 533.3 581.4 591.2 597.4 ~81%–90%

*注:TF32 的 $2048^3$ 与 $4096^3$ 下 128x256 配置受限于 SMEM 容量无法开启 Stages=3,表中 136.8 / 136.1 TF/s 为 Stages=2 / Swizzle=4 的实测值。

FP8 细分配置对比(CUTLASS 4.2.1,使用 2.x Device API,E4M3 输入 / FP16 输出,TN 布局):

模板配置 累加模式 $4096^3$ $8192^3$ $16384^3$ 备注
TB128x128x64 / Warp64x32 / Stages=4 / Swizzle=4~5 OpMultiplyAdd 501.4 505.4 507.0 精度安全,大尺寸与 cuBLAS 最优持平
TB128x128x64 / Warp32x32 / Stages=3 / Swizzle=4 OpMultiplyAdd 473.2 468.6 470.0 精度安全,分块略小
TB128x128x64 / Warp64x64 / Stages=3 OpMultiplyAdd — 85–90 — 双倍累加寄存器溢出
TB128x256x64 / Warp64x64 / Stages=3 / Swizzle=4~6 OpMultiplyAddFastAccum 581.3 591.2 597.4 极限吞吐,大 $K$ 维度存在精度损失
cuBLASLt 默认配置(对照组) COMPUTE_32F ~375.0 ~292.0 ~405.0 启发式选型失配
cuBLASLt 库内最优(对照组) COMPUTE_32F 524.3 587.6 493.2–525.1 精度安全,$8192^3$ 表现最佳

5.3 深度学习框架集成建议

  • PyTorch:默认的 torch.matmul 直接路由至 cuBLASLt 的默认启发式路径,在 FP8 及大尺寸非对称矩阵上性能损失显著。推荐在模型推理或训练中开启 torch.compile(mode="max-autotune")(或设置 torch._inductor.config.max_autotune_gemm = True),使 TorchInductor 自动完成底层 GEMM 算子的测速与选型;对于无法使用编译模式的动态图代码,可通过 PyTorch C++ Extension 封装 cublaslt_autotune.hpp。

6. 局限性与复现说明

已知限制

  • 状态绑定:Autotune 的实测结果与当前 GPU 的时钟策略及温度状态相关;当前 cublaslt_autotune.hpp 仅在进程内存中维护缓存,多进程部署时需各自预热(或按需扩展磁盘序列化缓存)。
  • 版本依赖:所有基准数据均基于 Driver 610.43.02、CUDA 13.3 与 gpu-unlock 1.1.1 测得,升级 CUDA Toolkit 或显卡驱动后建议重新运行基准测试以验证 Kernel 集合变化。
  • FP8 输出格式:本文 FP8 评测均采用 E4M3 输入、FP32 累加、FP16 输出的典型配置;若业务需要直接输出带缩放因子的 E4M3 张量,cuBLASLt 对快路径的对齐与步长约束会更为严格。