2023年10月4日讀畢需時 4 分鐘

试过GPT-4V后，微软的测评报告：高级用户必读（一）

本文来源：机器之心

这篇由微软撰写的报告，深入研究了GPT-4V的功能，任何想要探索GPT-4V潜力的人，都值得一读。

一周之前，ChatGPT迎来重大更新，不管是 GPT-4 还是 GPT-3.5 模型，都可以基于图像进行分析和对话。与之对应的，多模态版GPT-4V模型相关文档也一并放出。当时 OpenAI 放出的文档只有18页，很多内容都无从得知，对于想要更深入了解GPT-4V应用的人来说，难度还是相当大的。

短短几天时间，当大家还在死磕OpenAI 放出的18页文档时，微软就公布了一份长达166页的报告，定性地探讨了GPT-4V的功能和使用情况。

报告地址：https://arxiv.org/pdf/2309.17421.pdf

MedARC（医疗人工智能研究中心）联合创始人兼CEO Tanishq Mathew Abraham表示，「这篇报告将是GPT-4V高级用户的必读之作。」

该报告共分为11个章节，重点是对最新模型 GPT-4V(ision)进行分析，以加深大众对 LMM（大型多模态模型）的理解。文章用很大篇幅介绍了GPT-4V可以执行的任务，包括用测试样本来探索GPT-4V的质量和通用性，现阶段GPT-4V能够支持的输入和工作模式，以及提示模型的有效方法。

在探索 GPT-4V 的过程中，该研究还精心策划组织了涵盖各个领域和任务的一系列定性样本。对这些样本的观察表明，GPT-4V 在处理任意交错的多模态输入方面具有前所未有的能力，并且其功能的通用性使 GPT-4V 成为强大的多模态通用系统。

此外，GPT-4V 对图像独特的理解能力可以催生新的人机交互方法，例如视觉参考提示（visual referring prompting）。报告最后深入讨论了基于 GPT-4V 的系统的新兴应用场景和未来研究方向。该研究希望这一初步探索能够激发未来对下一代多模态任务制定的研究，开发和增强 LMM 解决现实问题的新方法，并更好地理解多模态基础模型。

下面我们逐一介绍每个章节的具体内容。 论文第一章介绍了整个研究的基本情况。作者表示，他们对GPT-V4的探讨主要在以下几个问题的指导下进行： 1、GPT-4V 支持哪些输入和工作模式？多模态模型的通用性必然要求系统能够处理不同输入模态的任意组合。GPT-4V 在理解和处理任意混合的输入图像、子图像、文本、场景文本和视觉指针方面表现出了前所未有的能力。他们还证明，GPT-4V 能够很好地支持在 LLM 中观察到的test-time技术，包括指令跟随、思维链、上下文少样本学习等。 2、GPT-4V 在不同领域和任务中表现出的质量和通用性如何？为了了解 GPT-4V 的能力，作者对涵盖广泛领域和任务的查询进行了采样，包括开放世界视觉理解、视觉描述、多模态知识、常识、场景文本理解、文档推理、编码、时间推理、抽象推理、情感理解等。GPT-4V 在许多实验领域都表现出了令人印象深刻的人类水平的能力。 3、使用和提示 GPT-4V 的有效方法是什么？GPT-4V 能够很好地理解像素空间编辑，例如在输入图像上绘制的视觉指针和场景文本。受这种能力的启发，研究者讨论了「视觉参考提示」，它可以直接编辑输入图像以指示感兴趣的任务。视觉参考提示可与其他图像和文本提示无缝结合使用，为教学和示例演示提供了一个细致入微的界面。 4、未来的发展方向是什么？鉴于 GPT-4V 在跨领域和跨任务方面的强大能力，我们不禁要问，多模态学习乃至更广泛的人工智能的下一步是什么？作者将思考和探索分为两个方面，即需要关注的新出现的应用场景，以及基于 GPT-4V 系统的未来研究方向。他们介绍了他们的初步探索结果，以启发未来的研究。

GPT-4V的输入模式

论文第二章总结了GPT-4V支持的输入，分为纯文本、单个图像-文本对、交错图像-文本输入（如图1）三种情况。