[Question] 关于数据问题

[Studentxll]

Required prerequisites

• I have read the documentation https://align-anything.readthedocs.io.
• I have searched the Issue Tracker and Discussions that this hasn't already been reported. (+1 or comment there if it has.)
• Consider asking first in a Discussion.

Questions

您好，在训练理解部分时，train.json里面的数据可以是QA和VQA的混合数据嘛,可以的话，请问格式是什么样的呢？谢谢！

[Gaiejj]

在VQA上应该是可以的，您可以参考我们已有的VQA Template: AA_TI2T，在读取数据的时候加入一个if-else的判断，如果item中没有图像，就不要用{image}，例如对于有图像的情形：

[
            {
                'role': 'user',
                'content': [
                    {'type': 'image'},
                    {'type': 'text', 'text': prompt},
                ],
            },
            {'role': 'assistant', 'content': [{'type': 'text', 'text': answer}]},
]

而对于无图像的情形：

[
            {
                'role': 'user',
                'content': [{'type': 'text', 'text': prompt}],
            },
            {'role': 'assistant', 'content': [{'type': 'text', 'text': answer}]},
 ]