GPT-4全新升级！以前的GPT-4 是这样的：
需要用户根据需要自己切换模式：
-
Default（默认）：文字聊天
-
Browse with Bing（用 Bing 浏览网络）：搜索最新信息
-
Advanced Data Analysis（高级数据分析）：按照需求，生成 Python 代码，并运行，主要用来做数据分析
-
Plugins（插件）：最多选择三个插件，在使用过程中按需调用
-
DALL·E 3：图片生成
当今天打开 GPT-4V在自动驾驶corner case识别考试的答卷：你打几分？
来测试 GPT-4对自动驾驶 corner case 场景的识别能力，当时得到一些定性的结论。那能否更进一步，得到定性的结论呢？于是我设计了新的工作流，并借助GPT-4 整合的全新能力，做了全新的测试。
这是测试的工作流：
包含下面的步骤：
- 数据处理：将 CODA 测试数据集中的标注数据从 JSON 这种半结构化、以GPT-4V在自动驾驶corner case识别考试的答卷：你打几分？中 GPT-4 已经展现过的、在自动驾驶场景的图像理解能力：
GPT-4：定量打分
GPT-4 这段对场景的描述到底准不准确？有多准确呢？这时候就要请出上面 GPT-4 处理得到的每张图像的标注信息表：
以这张表中的数据作为真值，让 GPT-4 对自己的结果做一个阅卷，打出评定的分数：
满分 10 分，真值中一共 N 个类别（“杂项”除外，因为太宽泛），每 miss 掉真值中的一个类别，就给 GPT-4 扣掉10/N分（向下取整）。按照这个规则，GPT-4 有理有据地给自己的表现打了 8 分，原因是没有识别出“障碍物 – 碎片”。
这样就完成了一个对数据集中单张图片做场景理解和对比打分的完整工作流，在整个数据集上遍历一遍，就能得到 GPT-4 在整个数据集上 corner case 理解的打分。现在因为 GPT-4 的 API 还没有完全开放，只能手动完成这个遍历过程，是非常费时费力的。当API 完全开放之后，可以将整个过程自动化。
在这个过程中，为了对GPT-4识别的物体类别和标注真值的类别对其，我尝试了在 Prompt中加入识别目标类别列表限制，并让它输出的结果也是 JSON 格式：
从上面的结果看，它的表现似乎没有不加限制的好，明显漏掉了“障碍物 – 机械”这个类别的目标，使得得分从 8 分退化到 6 分。可能原因是这个 Prompt 没有设计好，需要进一步调优。
GPT-4：以图生图
在图像生成方面，GPT-4 能否以图生图呢？如果能实现根据用户提供的图片生成类似的交通场景图，那对仿真就太有助力了。
先用最简单的方式
还挺像的。再加一点自动驾驶的场景感呢？
好吧，只能说太不像了。
GPT-4：图 -> 文 -> 图
能否换一个思路呢？让 GPT-4 先根据图片生成描述的文字，然后再根据这些文字生成相似图片。试一试：
这下明显更相似了！但 GPT-4 生成的图片都太高清，太干净，太整洁了，有种明显的不真实感。能更贴近现实吗？问问它：
看来它背后的 DALL·E自带高清体质，天生丽质难自弃，不肯堕入凡尘。那就以它生成的另一张图片结尾吧。
小结
本文以定量评估GPT-4在自动驾驶corner case场景的理解能力为例，展现了全新的GPT-4 在意图理解、代码生成、数据处理、图像理解、文本打分、文生图、图生图等多方面的超强能力，我相信它正在或者已经成为自动驾驶技术研发工作者的必备武器。对它在仿真场景生成、数据集多模态检索等方面的更多应用，将会不断探索，希望不久将会有更多实践与大家分享。
往期参考
