跨模态推理和基于外部知识的推理。然后CIA用迭代的流程来逐渐提示功能复杂程度。

跨模态推理和基于外部知识的推理。然后CIA用迭代的流程来逐渐提示功能复杂程度。

实验分析：

实验设置：

评估两个MLLMs，在六个数据集上，, LLaVA-Cap, LLaVA-VQA, LLaVA-Rea, LRV, A-OKVQA, and Shikra。 BLIP-2和MiniGPT-4两个模型。选择这两个模型，是因为没有怎么使用指令集进行微调。

评估benchmark，MME和SEED-Bench。

实验结果：

分成了两组，: (A) LLaVA-Cap (image captioning), LLaVA-VQA (visual question answering), and LLaVA-Rea (visual reasoning); (B) LRV (diversity), A-OKVQA (com- plexity), and Shikra (spatial annotation)。

从task type的角度，实验结果来看： 1. 在caption任务上训练，带来了明显的性能降低 2. MLLMs在reasoning任务上微调，带来了明显的性能提升。VQA task的训练中规中矩。

从Instruction特性角度：作者继续分析。作者的实验结果，表明，在A-OKVQA上进行微调，可以明显的提升性能。

在LRV和shikra上训练，仅带了小幅度的提升。

综合来看，LLaVA-rea和复杂度，A-OKVQA很有用。

方法：

基础介绍：

考虑到现有模型还没有探索，什么样的Instruction数据集是更有效的，而且什么因素导致了好的Instruction data，暂未有人探索。 考虑到这些问题，作者探索什么是好的visual Instruction这个问题。基于这个目标，作者首先对现有的 visual Instruction set进行了评估，目标是发现关键因素。

作者主要从task type和Instruction characteristic两个方面来评估。作者选择了六个典型的Instruction dataset，使用两个典型的BLIP2和MiniGPT-4来评估。根据实验结果，作者发现： 1. 对于task type，视觉推理任务对于提升模型的image caption和quetison answering任务很重要。 2. 对于Instruction characteristic，提升Instruction的复杂度更加有帮助对于提升性能，相比task的多样性，以及整合细粒度的标注信息。

基于上述发现，作者开始构建复杂的视觉推理指令集用于改善模型。

首先最直接的方法是通过chatgpt和gpt4来优化指令集，基于图像的标注。因为指令集跨跨模态的特性，LLMs可能会过于简单甚至包含本来图片中不存在的物体。 考虑到上述问题，作者提出了一个系统的多阶段的方法，来自动生成visual Instruction数据集。

输入一张图，根据可以获得标注，caption或者object，作者采用了一种先生成，再复杂化，再在重组的pipeline来生成Instruction。具体的，作者首先，使用特殊的prompt指导prompt来生成一个初始指令。然后使用迭代的方式，复杂化-->验证的方式，来逐步提升Instruction的复杂程度，同时保证质量。最后，将Instruction重组成多种形式，在下游任务重，获得更好的适应性。

前提条件：

视觉指令收集：

任务类型，之前的指令微调的数据集，都是利用带有标注的图片。主要包括一下三个任务类型： 1. Image Caption，生成文本描述 2. VQA任务：需要模型根据问题生成关于图片的回答 3. Visual reasoning：需要模型基于图片内容进行推理。

为了研究任务类型的影响， 作者考虑一个最常用的指令微调数据集LLaVA-Instruct。作者将其划分成三个子数据集，LLaVA-Caption, LLaVA-VQA and LLaVA-Reasoning。

指令特性： 指令的特性包括。 * 任务的多样性，已经有工作发现，提升工作的多样性，对于zero-shot能力是有帮助的。可以通过和不同的任务整合来获得此类能力。 * 指令的复杂程度，这是一个被广泛应用的策略，提升LLMs指令集的复杂程度。作者同样使用复杂的多模态做任务，例如，多跳的推理任务，来提升MLLMs的指令遵循能力。 * 细粒度的空间感知。对于MLLMs而言，感知细粒度的空间信息对图片中的特定物体，是必要的。基于这个目标。空间位置的标注可以包括在有文本的指令集中。

Motivation and Contribution：

Motivation： * 什么样的visual Instruction是一个好的Instruction。基于这个问题，复杂的指令推理任务，对于提升MLLM的性能更加有效。

Contribution： * 基于这些发现，作者设计了一个系统的方法，来自动的创作高质量的复杂的推理指令集。作者采用了一种生成，复杂化，重构的范式，充分利用多个阶段来猪骨增加指令的复杂度，同时保持质量。 * 基于这些方法，作者创建了一个生成的视觉推理指令数据集，包含32k的示例，命名为ComVint。然后在四个MLLMs模型上微调。实验结果显示，可以明显的提升现有模型的性能。

微调的部分有所不同。

指令微调的流程

生成一些图像中本不存在的东西。

比较常用的方式是如何去做呢，根据图像描述来生成吗。

两个发现。对于不同的任务类型，推理任务更有帮助。对于指令的特性，复杂的指令更有用。

一般都会采用指令微调

贡献的详细内容，利用了多个步骤来生成数据集。

论文的Motivation和主要贡献。