CUDA 12.6 Performance Issue

[rchardx]

Using CUDA 12.6 results in about a 10% performance drop compared to CUDA 12.4, and sometimes even more. Can I ask if there exist any plans to address this performance issue?

• Using 32K seqlen inputs
• CUDA 12.6
• CUTLASS 3.5.0

Batch size	FA3-CUDA12.6	FA3-CUDA12.4
1	558.864	636.865
2	553.146	632.911
4	554.982	634.635
8	546.888	623.84

[tridao]

Yup we'll tune for 12.6 later.
Right now we've seen best perf with CUDA 12.3.

[Xiong-Jirong]

请问您的torch版本是什么，我用cuda12.6和cuda12.4安装时都会报错。
另外我的环境是ubuntu22.04。
还有一个笨一点的问题就是，作者的依赖环境中没有提到cutlass库，我安装时也提示找不到cutlass，所以我接着编译安装cutlass但仍然出错，请问cutlass是您单独编译安装的吗？还是说cuda12.x自带cutlass呢？
如果能收到您的回答，我会非常感激！

[rchardx]

请问您的torch版本是什么，我用cuda12.6和cuda12.4安装时都会报错。 另外我的环境是ubuntu22.04。 还有一个笨一点的问题就是，作者的依赖环境中没有提到cutlass库，我安装时也提示找不到cutlass，所以我接着编译安装cutlass但仍然出错，请问cutlass是您单独编译安装的吗？还是说cuda12.x自带cutlass呢？ 如果能收到您的回答，我会非常感激！

我没有安装到python环境，我是直接将C++代码剥离出来编译运行的。如果按照repo中的guide安装还遇到报错，可以提issue。
这个库中依赖的cutlass需要在repo中clone submodule（git submodule update --init --recursive）。

[tridao]

setup.py now uses nvcc==12.6 and ptxas==12.8