8000
感谢您出色的工作! 我注意到Inf-DiT推理一张512*512的样本图片平均需要36秒,推理时GPU显存的占用为8GB左右,我的设备上拥有两张显卡,请问如何让这两张显卡一起进行推理工作?我希望能够在双卡的环境中减少推理的时间。 我已经尝试使用torchrun启动多卡推理,但是会报错找不到“sat”模块,这在单卡推理时则不会报错,我不知道是什么引起的问题 希望能得到您的帮助,期待您的回复!
你好,这个仓库现在暂时不支持多卡推理功能
好的,感谢您的答复
如果你指的是单纯的启动多张卡,每张卡上同时推理不同的图片,那应该是支持的,只要设置好对应的WORLD_SIZE和RANK环境变量就可以,torchrun应该是支持的。具体逻辑可以看推理脚本的这里https://github.com/THUDM/Inf-DiT/blob/e710c3f0530adc15ee92e0635164d44261cc68da/generate_t2i_sr.py#L131
如果你指的是单纯的启动多张卡,每张卡上同时推理不同的图片,那应该是支持的,只要设置好对应的WORLD_SIZE和RANK环境变量就可以,torchrun应该是支持的。具体逻辑可以看推理脚本的这里 https://github.com/THUDM/Inf-DiT/blob/e710c3f0530adc15ee92e0635164d44261cc68da/generate_t2i_sr.py#L131
如果你指的是单纯的启动多张卡,每张卡上同时推理不同的图片,那应该是支持的,只要设置好对应的WORLD_SIZE和RANK环境变量就可以,torchrun应该是支持的。具体逻辑可以看推理脚本的这里
https://github.com/THUDM/Inf-DiT/blob/e710c3f0530adc15ee92e0635164d44261cc68da/generate_t2i_sr.py#L131
好的,我目前的想法也是类似的,如果模型目前无法在多卡上并行推理,那就只能采用这种方式加速推理过程了。我稍后研究一下这个方式,感谢您的答复
Activity
yzy-thu commentedon Dec 9, 2024
你好,这个仓库现在暂时不支持多卡推理功能
BrooksXiaoxi commentedon Dec 9, 2024
好的,感谢您的答复
yzy-thu commentedon Dec 9, 2024
如果你指的是单纯的启动多张卡,每张卡上同时推理不同的图片,那应该是支持的,只要设置好对应的WORLD_SIZE和RANK环境变量就可以,torchrun应该是支持的。具体逻辑可以看推理脚本的这里https://github.com/THUDM/Inf-DiT/blob/e710c3f0530adc15ee92e0635164d44261cc68da/generate_t2i_sr.py#L131
BrooksXiaoxi commentedon Dec 9, 2024
好的,我目前的想法也是类似的,如果模型目前无法在多卡上并行推理,那就只能采用这种方式加速推理过程了。我稍后研究一下这个方式,感谢您的答复