作者你好，非常感谢你的分享
我最近在做sensevoicesmall的onnx加速，按照funasr官方给出的方法进行导出和推理，性能非常差，官方只是说在gpu上的优化不好。于是我找到了您的项目，在cpu上做了推理性能测试，相比于pt模型有不少的提升，但是当我把它放到gpu上时，onnx模型加速效果消失了，并且性能相比于pt模型要更差，所以想问一下您是否在gpu设备上做过性能的测试和对比？我在下面贴一下环境信息
测试结果
10s音频100次推理平均时间
pt模型 40ms
onnx模型 80ms
onnx-int8模型 115ms
python环境
CUDA version: 12.4
cudnn version: 8.9.4
python 3.11.8
numpy 1.26.4
nvidia-cublas-cu12 12.4.5.8
nvidia-cuda-cupti-cu12 12.4.127
nvidia-cuda-nvrtc-cu12 12.4.127
nvidia-cuda-runtime-cu12 12.4.127
nvidia-cudnn-cu12 9.1.0.70
nvidia-cufft-cu12 11.2.1.3
nvidia-curand-cu12 10.3.5.147
nvidia-cusolver-cu12 11.6.1.9
nvidia-cusparse-cu12 12.3.1.170
nvidia-cusparselt-cu12 0.6.2
nvidia-nccl-cu12 2.21.5
nvidia-nvjitlink-cu12 12.4.127
nvidia-nvtx-cu12 12.4.127
omegaconf 2.3.0
onnx 1.15.0
onnxruntime-gpu 1.18.0
作者你好，非常感谢你的分享
我最近在做sensevoicesmall的onnx加速，按照funasr官方给出的方法进行导出和推理，性能非常差，官方只是说在gpu上的优化不好。于是我找到了您的项目，在cpu上做了推理性能测试，相比于pt模型有不少的提升，但是当我把它放到gpu上时，onnx模型加速效果消失了，并且性能相比于pt模型要更差，所以想问一下您是否在gpu设备上做过性能的测试和对比？我在下面贴一下环境信息
测试结果
10s音频100次推理平均时间
pt模型 40ms
onnx模型 80ms
onnx-int8模型 115ms
python环境
CUDA version: 12.4
cudnn version: 8.9.4
python 3.11.8
numpy 1.26.4
nvidia-cublas-cu12 12.4.5.8
nvidia-cuda-cupti-cu12 12.4.127
nvidia-cuda-nvrtc-cu12 12.4.127
nvidia-cuda-runtime-cu12 12.4.127
nvidia-cudnn-cu12 9.1.0.70
nvidia-cufft-cu12 11.2.1.3
nvidia-curand-cu12 10.3.5.147
nvidia-cusolver-cu12 11.6.1.9
nvidia-cusparse-cu12 12.3.1.170
nvidia-cusparselt-cu12 0.6.2
nvidia-nccl-cu12 2.21.5
nvidia-nvjitlink-cu12 12.4.127
nvidia-nvtx-cu12 12.4.127
omegaconf 2.3.0
onnx 1.15.0
onnxruntime-gpu 1.18.0