8000 如何进行多卡推理以提升推理速度? · Issue #30 · zai-org/Inf-DiT · GitHub
[go: up one dir, main page]

Skip to content

如何进行多卡推理以提升推理速度? #30

Open

Description

@BrooksXiaoxi

感谢您出色的工作!
我注意到Inf-DiT推理一张512*512的样本图片平均需要36秒,推理时GPU显存的占用为8GB左右,我的设备上拥有两张显卡,请问如何让这两张显卡一起进行推理工作?我希望能够在双卡的环境中减少推理的时间。
我已经尝试使用torchrun启动多卡推理,但是会报错找不到“sat”模块,这在单卡推理时则不会报错,我不知道是什么引起的问题
希望能得到您的帮助,期待您的回复!

Activity

  1. yzy-thu commented on Dec 9, 2024

    @yzy-thu
    Contributor

    你好,这个仓库现在暂时不支持多卡推理功能

  2. BrooksXiaoxi commented on Dec 9, 2024

    @BrooksXiaoxi
    Author

    你好,这个仓库现在暂时不支持多卡推理功能

    好的,感谢您的答复

  3. yzy-thu commented on Dec 9, 2024

    @yzy-thu
    Contributor

    如果你指的是单纯的启动多张卡,每张卡上同时推理不同的图片,那应该是支持的,只要设置好对应的WORLD_SIZE和RANK环境变量就可以,torchrun应该是支持的。具体逻辑可以看推理脚本的这里https://github.com/THUDM/Inf-DiT/blob/e710c3f0530adc15ee92e0635164d44261cc68da/generate_t2i_sr.py#L131

  4. BrooksXiaoxi commented on Dec 9, 2024

    @BrooksXiaoxi
    Author

    如果你指的是单纯的启动多张卡,每张卡上同时推理不同的图片,那应该是支持的,只要设置好对应的WORLD_SIZE和RANK环境变量就可以,torchrun应该是支持的。具体逻辑可以看推理脚本的这里

    https://github.com/THUDM/Inf-DiT/blob/e710c3f0530adc15ee92e0635164d44261cc68da/generate_t2i_sr.py#L131

    好的,我目前的想法也是类似的,如果模型目前无法在多卡上并行推理,那就只能采用这种方式加速推理过程了。我稍后研究一下这个方式,感谢您的答复

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions

      0