8000
如题,当设置inference_type=ar2,cross_attention_forward()函数会报缺少lr_imgs,点进代码(model.py line 426)可以看到确实没有传递lr_imgs,奇怪的是选择full时没有这个bug,请问是什么原因呢
我也遇到了相同的问题,图比较大的时候full出现oom,ar1跑的比较慢,ar2存在bug不能使用
可以先把推理脚本里的cross_lr删掉跑下试试,我会尽快修一下这个bug
删掉了cross_lr跑的时候,只能单卡跑不能多卡并行。
(model.py line 718) output, *output_per_layers = self.model_forward(*args, hw=[vit_block_bsize, vit_block_bsize], mems=mems, inference=2, **kwargs)
手动添加了 lr_imgs=lr_imgs 依然跑不了,报错k must have shape (batch_size, seqlen_k, num_heads_k, head_size_og).
Activity
xiaom233 commentedon Aug 14, 2024
我也遇到了相同的问题,图比较大的时候full出现oom,ar1跑的比较慢,ar2存在bug不能使用
yzy-thu commentedon Aug 14, 2024
可以先把推理脚本里的cross_lr删掉跑下试试,我会尽快修一下这个bug
Carl-Lin-cloud commentedon Sep 16, 2024
删掉了cross_lr跑的时候,只能单卡跑不能多卡并行。
(model.py line 718) output, *output_per_layers = self.model_forward(*args, hw=[vit_block_bsize,
vit_block_bsize],
mems=mems, inference=2, **kwargs)
手动添加了 lr_imgs=lr_imgs 依然跑不了,报错k must have shape (batch_size, seqlen_k, num_heads_k, head_size_og).