GPT-4V在自动驾驶corner case识别考试的答卷:你打几分?
题记
图森中国CTO王乃岩用五个case对GPT-4V(ChatGPT推出的图像理解功能)在自动驾驶场景中的表现做了测试,令人印象深刻。
5个case不够过瘾,于是我准备在更多的case上测试GPT-4V,对其在自动驾驶场景中的图片理解能力有更进一步的理解。
数据集
自动驾驶传统的感知模型,需要标注交通灯、交通标志、道路标线、车辆、行人等各种类别的大量数据。一个难点就是那些出现情况比较少、人工标注很难覆盖到的corner case。为此,这次测试我专门找到了CODA,这个华为发布的自动驾驶corner case数据集。
人力所限,我只用到了CODA base val set这个子集,包含4884张图片,标注信息中包括29个类别的元素:
Prompt
此次测试使用的Prompt为:
你是一个自动驾驶专家,专长是识别交通场景,并做出驾驶决策。我将向你展示一系列自车拍摄的交通图片,请用精简、结构化的语言描述图中的道路状况、交通标识、交通参与者(可见范围内的所有行人、车辆等目标的特征、方位、行驶方向等)、周围环境、异常情况、自动驾驶策略。
说明与结论
下面的测试结果,以图片展现为主,我会用箭头➡️标识重要的关注点,用圆圈⭕️圈出GPT-4V相应的输出,绿色标识理解准确✅,红色标识理解有误❌。话不多说,请各位读图感受。
下文多图流量预警,所以先上结论:
-
在自动驾驶场景中,GPT-4V大模型以非常高的准确性,在路面修补、施工区域、工程车、雨雾、特殊行人、狗子等corner case中,表现优秀,展现出远超自动驾驶感知模型的世界知识。
-
在夜色、炫光,以及目标互相交叠的场景中,GPT-4V的表现差强人意,其空间感知能力弱,幻觉严重。
这个结论是在多场景下与GPT-4V对话得到的定性结论,主观性较强。 “如何定量地衡量视觉大模型在自动驾驶场景的表现?” 这个问题也在测试过程中不断在脑袋中回响。现在我有一些零散的想法,如果你也感兴趣,欢迎在文末的评论区留言交流。
以下就是本次测试的场景,包括:
-
那路
-
那车
-
那人
-
那狗
-
像雾,像雨,像雪
-
夜色,炫光
-
西湖,走走
那路
雨后湿滑
修修补补
高架桥下
金属板材
土方堆积
建筑框架
那车
中国道路上那些狂野的车们。
工程车:靠得太近,误认为合体
作业平台
混凝土搅拌机
还有这样的
三轮车:挺别致
外卖
运输车:谁敢比我长
装点货
那人
人在旅途
重叠遮挡
手里有个啥?
送水的人
几多车,几多人
孩子呢
那狗
狗子
这个误会大了
“那人好像一条狗啊!”
我牵着你
荒村,黑狗
穿行中,勿扰
我是一只狗,不是一只羊
像雾,像雨,像雪
“天空它下着沙”
下雨🌧了,快回家
因为雨天,所以卡车?
快到雪地里撒个欢
雨天路滑
打伞的人,还有雕塑
夜色,炫光
夜色温柔
你的影子无所不在
红的不是车,是光
还这么坚持?
亮瞎了!
西湖,走走
绿杨烟里
白沙堤
以上就是我这次测试的所有出题和GPT-4V的答卷,你会给它打几分?
由于时间关系,我没有对GPT-4V在每个case上追问更多问题,就它第一次回答直接做了判卷。也许深入的发问,可以让它消除一些幻觉。同时,Prompt可以进一步优化,以获得更加丰富和结构化的结果。大家可以进一步探索。