FaceFusion2.61安装及配置使用CUDA+cudnn

见贤思齐

最近更新安装FaceFusion2.61，发现仍然只有Azure和CPU两个设备选项。找了一些文章，要么是需要特定低版本cuda+cudnn+onnxruntime相匹配，要么就是低端显卡不行。直到看到InstallONNXRuntime|onnxruntime上的安装指南，才知道“ForCuda12.x,pleaseusethefollowinginstructionstoinstallfrom ORTAzureDevopsFeed”，安装指令如下：pipinstallonnxruntime-gpu--extra-index-urlhttps://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-12/pypi/simple/按照此指令，重新安装onnxruntime-gpu，运行FaceFusion2.61,则出现了Cuda选项。但是，这离正常使用还远远不够。现将我的安装环境及安装步骤重现如下：一、显卡及cuda版本Cuda是最新的12.5,显卡是笔记本级GeForceMX450，2G显存，内存16G，共享GPU内在7.9G，intelI7Cpu。二、创建conda环境因为FaceFusion2.61使用onnx模型加速器，因此只需要安装onnx和onnxruntime以及cuda+cudnn就可以，不需要安装pytorch。所以环境以此为基础搭建。python＝3.10.13condacreate-nff2python=3.10 二、下载Facefusion并安装1、地址：GitHub-facefusion/facefusion:NextgenerationfaceswapperandenhancerFaceFusion需要下载54个models，运行run.py会自动下载模型文件至项目当前目录下的.\.assets\models目录下，54个模型共计14.8G，建议单独下载模型文件后保存至.\.assets\models。模型下载地址为：Releasemodels·facefusion/facefusion-assets·GitHub2、安装依赖包2.1、这是一个关键环节，而且，这个环节决定了整个Cuda+cudnn环境的搭建。没有与onnxruntime-gpu相匹配的Cuda+cudnn，那么FaceFusion2.61在本地就只能用CPU了，所以，对于FaceFusion2.61来讲，cuda+cudnn的安装顺序是先onnxruntime-gpu,后cuda+cudnn环境。 2.2、安装依赖包可以使用pythoninstall.py和pipinstall-rrequirements.txt两个命令，由于onnxruntime-gpu在Cuda12.x之后，安装方式和以前版本有所变化，建议用前者安装，因为intsall.py在下载onnxuruntime-gpu包时，用的就是上述ORTcuda12.x专门的安装方法。 2.3、利用install.py安装完毕后，如果你的GPU是支持cuda的，该脚本为会下载onnxruntime-gpu1.17.1版本。onnxruntime-gpu必须搭配正确版本的cuda+cudnn才能发挥GPU加速计算的作用。网上已经有介绍怎么搭配onnxruntime-gpu+cuda+cudnn，onnx官网上也有介绍（https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements）。现在关键点来了，我的现有环境是cuda12.5，install.py安装的是onnxruntime-g1.17.1,那么cudnn可以选择9.X和8.X两个版本，官网上说cuda12.x可以适配onnxruntime1.18.1、1.18.0、1.17.x，其中1.18.1对应cudnn9.x，后两者对应8.x。因为我的版本组合是cuda12.5+onnxruntime1.17.1，所以应该选择cudnn8.x（cuDNNArchive|NVIDIADeveloper），于是我下载cudnn8.6并拷贝到cuda安装目录的bin、lib和include文件夹中。然后，恭喜：“RuntimeError:\a\_work\1\s\onnxruntime\python\onnxruntime_pybind_state.cc:891onnxruntime::python::CreateExecutionProviderInstanceCUDA_PATHissetbutCUDAwasntabletobeloaded.PleaseinstallthecorrectversionofCUDAandcuDNNasmentionedintheGPUrequirementspage (https://onnxruntime.ai/docs/execution-providers/CUDA-ExecutionProvider.html#requirements), makesurethey'rein thePATH,andthatyourGPUissupported.”2.4、解决方案：  一是打开conda当前环境的Lib\site-packages\onnxruntime\capi\version_info.py文件，查看其内容。use_cuda=Truecuda_version="12.2.128"cudnn_version="8"vs2019=False是的,这个就是你安装的onnxruntime-gpu的cuda+cudnn版本匹配要求。二是，安装cuda12.2（https://developer.nvidia.com/cuda-12-2-1-download-archive）+cudaa8.x。由于我的系统上已经有了cuda12.5，所以安装完毕后，要对环境变量进行设置，让cuda12.2的出现在系统级path变量的最顶端。键盘win+r，运行controlsysdm.cpl。在系统环境变量中按上述要求操作，结果如图：图片中红框部分，cuda12.2的两目录在cuda12.5之前，确定后。运行nvcc-V，你将看到cuda版本为12.2如下图：如果将顺序调整，将Cuda12.5放在前，确定环境修改后，打开的新终端，cuda版本将为12.5。至此，cudnn8.6已经拷贝到了cuda12.2安装目录的bin、lib、include中，cuda12.2安装完毕，环境变量设置为cuda12.2，运行FaceFusion项目目录中的pythonrun.pypythonrun.py--skip-download--ui-layoutsdefault打开服务器指定网址，在网而中选择cuda设备，在源地址中选择一张人脸图片，在右侧的preview窗口中出现预览图片而不是‘Error’，则配置顺利完成。2.5、额外需要说明的情况 我将onnxruntime-gpu升级到1.18.1，以支持最新cudnn9.2。并且将环境设置成为cuda12.5(即在系统环境变量中将cuda12.5的两个目录移动最顶级)，并按cudnn安装说明，在安装完毕后，在系统级环境变量中，将cudnn的bin目录放入path环境变量（InstallingcuDNNonWindows—NVIDIAcuDNNv9.2.1documentation），即上面环境变量设置图片中蓝色框部分，我将其指向了cudnn\9.2目录（实际设置是cudnn\9.2\12.5\bin，因为相关dll文件在bin文件夹中），FaceFusion2.61的cuda加速正确运行。onnxruntime-gpu1.18.1的Lib\site-packages\onnxruntime\capi\version_info.py文件内容是：use_cuda=Truecuda_version="12.2.128"cudnn_version="9"vs2019=False也就是说我的环境：cuda12.5+cudnn9.2+onnxruntime-gpu1.18.1，可以支撑FaceFusion2.61。三、关于cudnn9.2安装后目录结构的问题下载cudnn9.2windows安装包安装后，其cudnn安装目录下虽然也是bin、lib、include三个关键目录，但是，在这三个目录又分了11.8和12.5两个目录，因此，如果环境变量常规性的指向bin目录，那么将只能找到两个目录而不是实际需要的dll文件。我是将目录重新组织了，在cudnn\9.2下设11.8和12.5目录，并在这两个目录中分别建立bin、lib、include文件夹，将不同版本相应文件夹的文件移动到三个文件夹中。四、最后，将我经常用但老忘记的pytorch安装指令放在下面，以备我自查，也为有需求者提供参考。1、安装目前的最新pytorch=12.1版本pip3installtorchtorchvisiontorchaudio--index-urlhttps://download.pytorch.org/whl/cu1212、确定torch和关联cudnn版本。importtorchprint("PyTorchversion:",torch.__version__)print("GPUis","available"iftorch.cuda.is_available()else"NOTAVAILABLE")print("cuDNNversion:",torch.backends.cudnn.version())我的输出是：PyTorchversion:2.3.1+cu121GPUisavailablecuDNNversion:8907 注意，pytorch12.1版本自带cudnn8.9和cuda12.1支撑dll，在conda环境中的\Lib\site-packages\torch\lib目录下（4个多G），所以pytroch12.1使用的是cudNN版本是8.907，而不是操作系统环境中的cudnn9.2或者cudnn8.6。