英伟达以TensorRT LLM VisualGen加速Blackwell上的FLUX 3 Image Klein

英伟达11月6日的技术文章介绍了如何用TensorRT LLM VisualGen加速Black Forest Labs的FLUX 3 Image Klein。其报告称，在单张B200、2048×2048分辨率下，逐项叠加优化后，Base模型的文生图耗时由22.36秒降至6.46秒，图生图由54.64秒降至12.28秒。这些是特定配置下的厂商测试结果，并非独立复测，也不保证其他提示词获得相同收益。

Klein由Qwen3-VL-4B-Instruct提供文本条件，扩散Transformer逐步细化图像潜变量，自编码器负责参考图编码及结果解码。文章中的Base测试使用50步去噪和无分类器引导；蒸馏版使用16步，不启用该引导。两版的工作量本就不同，因此比较耗时时，不能把蒸馏版更短的生成过程直接视为推理内核更高效，输出是否满足任务也须另行判断。

去噪是优化焦点。文章给出的单张B200、NVFP4且已编译的2048×2048流水线测量中，去噪占Base文生图总耗时的96.8%，占图生图的97.8%。VisualGen用NVFP4降低权重计算精度，并以融合矩阵乘法内核合并激活、注意力投影等操作。英伟达报告，NVFP4相对BF16最高使文生图提速1.62倍、图生图提速1.58倍；精度变化可能改变输出像素，速度数字本身不能证明画质等价。

分辨率升高后，注意力计算更昂贵。英伟达称，在其2048×2048的NVFP4文生图测试中，BF16注意力约占Transformer GPU内核时间的六成。VC-Attention把注意力计算降至FP8，再按量化误差挑选部分token修正；修正预算为0.005时，Base和蒸馏版相对BF16注意力基线分别提速1.18倍和1.16倍，对应LPIPS为0.086和0.151。LPIPS衡量的是与各自基线图像的感知差异，不能单凭它认定哪张图更符合提示词。

另一种办法是让部分注意力计算稀疏化。在2048×2048的Base测试中，Sol-Attention取τ=1.0，前16步保持稠密时，去噪加解码提速1.24倍；只保留前12步稠密时为1.30倍。文章中的部分示例随稠密步数减少出现更明显的图像偏移。由此可推论，截止点应按细节保留与编辑精度要求选择；少量示例不足以证明某个设置适合所有提示词。

Cache-DiT则利用相邻去噪步骤的重复计算：当残差差异满足阈值条件时，复用Transformer中间结果。在文中阈值0.24的配置下，2048×2048 Base文生图相对未缓存的NVFP4配置提速1.94倍，输出与未缓存结果的LPIPS为0.033；蒸馏版在该分辨率下提速1.20倍。蒸馏版仅有16步、可复用机会较少，或许解释了收益较小，但这是机制推论，并非文章单独验证过的因果结论。

扩展到八张B200时，VisualGen将Base的正、负引导分支分配到不同GPU组，再用Ulysses并行划分各组的序列；蒸馏版只采用序列并行。英伟达报告，2048×2048文生图的中位延迟，Base由单卡14.90秒降至八卡3.00秒，蒸馏版由2.73秒降至1.08秒。这些是延迟数据，不能直接推出吞吐或成本效率。文章还指出，八卡蒸馏版约一半运行时间花在去噪之外，继续加速去噪对总耗时的帮助会受限。

验证这些结果，应固定模型检查点、VisualGen配置、GPU数量、分辨率、提示词及参考图、随机种子、步数和引导设置。文章的单卡流水线数据是在两次预热后对十次请求取平均；优化测试除特别说明外使用种子0，且不计可选的提示词扩写。复测时应先按各项声明的基线测量，再组合优化，并用多组生成及编辑任务检查主体、文字、细节与指定区域的保留情况。LPIPS只能辅助比较基线差异；在更广泛工作负载验证前，提速结论仍限于英伟达披露的测试条件。