ovis 一定要flash_attn才能训练吗？

[Kyrie666]

我已经删掉flash_attn的配置，看代码加载的时候一定会get_model_tokenizer_with_flash_attn（），但是目前安装flash_attn遇到困难，想尽快跑起来。能不能不用flash_attn

[Jintao-Huang]

如果没出现报错，就是可以的

配合max_length来降低显存

[Kyrie666]

如果没出现报错，就是可以的

配合max_length来降低显存

会在get_model_tokenizer_with_flash_attn()报错

[Jintao-Huang]

有报错的截图嘛

[Kyrie666]

有报错的截图嘛
不好意思，错误的信息打扰了
我用单节点测试了一下，不是这里的问题，是分布式的问题。sorry .我的环境让我很难上传截图，只能请教
在deepspeed 分布式运行的环境下，前面的一切都很正常，训练参数什么也都正常解析，一直到最后加载模型时显示这个问题，应该是分布式配置的问题，请教一下、
caching allocator warmup(model to load, expanded device map)
re.compile（“1”，join([re.escape(plan)for plan in model. tp plan]))

[Jintao-Huang]

transformers的bug. 用4.50.2试试呢

[Jintao-Huang]

huggingface/transformers#36677

[Kyrie666]

huggingface/transformers#36677

多谢，现在已经成功能跑起来。
但是有个额外的问题想请教：之前我单节点可以训练7B的VL，现在我用8个节点32B的VL频繁OOM，觉得有点不可思议。可以通过哪些参数调整。

[Jintao-Huang]

使用--max_length调整。这个模型会padding到max_length