热成像人机交互中视觉语言模型理解人类活动的失败模式

一项评估发现，七个可本地部署的视觉语言模型（含面向物理 AI 与机器人开发的模型）在两个以人为中心的热成像数据集上，能识别宽泛的活动类别，却难以识别咳嗽、打喷嚏、打哈欠等细粒度动作，还会生成不准确的事件时间线并幻觉出涉及物体的动作。简单的热成像输入预处理与额外推理仅带来有限且因模型而异的改善，即使有明确指令，各模型的拒答行为也不一致。