PhysVLM团队 投稿量子位 | 公众号 QbitAI
会通物理知识的大型视频谈话模子PhysVLM，开源了！
它不仅在 PhysGame 基准上展现出最先进的性能，还在通用视频清楚基准上（Video-MME, VCG）证明出进步的性能。
在这项辩论之前，念念让AI像东谈主类儿童雷同，通过不雅察寰宇清楚基本的物理知识，是一个主要挑战。
关于执行寰宇的视频来说，全面障翳和讲明通盘平时的物理形态既贫瘠又无谓要。
比较之下，游戏视频（gameplay videos）不绝包含违犯物理知识的“故障形态”（glitches），这有助于简化物理知识清楚的界说和评估，即专注于讲明物理知识的违犯形态，而不是试图列举通盘存在的平时物理形态。
为此，PhysVLM在挑升整理的一套数据集上熟习，包括用于评估的PhysGame benchmark、用于监督微调的PhysInstruct数据集和用于偏好对王人的PhysDPO数据集。
PhysGame benchmark 预计打算
如图所示， PhysGame包含880个含有故障形态的游戏视频，每个视频都配有一个高质料的多项遴荐题，挑升针对故障形态的性质进行标注。
△PhysGame类别散播
PhysGame涵盖了四个关节的物理鸿沟（即力学、阐明学、光学和材料属性），并细分为12个具体类别（如重力和速率）。
力学（Mechanics）：该类别波及力与力矩偏执对阐明的影响，提供了讲明和分析视频中物体阐明的基础旨趣。典型案例包括重力、弹性和摩擦力。阐明学（Kinematics）：该鸿沟辩论不探讨力的情况下的阐明，波及紧密分类，如随期间变化的速率和加快度。光学（Optics）：该鸿沟关怀光的举止与特点偏执与物资的相互作用，包括反射、折射以及领受与透射。材料属性（Material properties）：该鸿沟指的是物资固有的特点，包括颜料、刚性、物体样子以及东谈主体姿态。PhysGame benchmark构建
视频荟萃和过滤:
PhysGame中的视频主要从Reddit页面执取，该页面包含带有极度事件和故障形态的游戏视频。为了均衡不同的类别，团队还通过关节词搜索从 YouTube增强视频数据。团队笔据以下两项圭臬进行东谈主工筛查：
重叠查验：Reddit论坛可能会屡次援用合并视频，导致重叠下载。团队手动查验，确保PhysGame benchmark中的视频不存在重叠；本体查验：下载的视频可能包含非游戏元素，团队对这些本体进行了严格筛选，确保它们不被纳入PhysGame benchmark中。选项生成:
本文以多项遴荐题的形态创建问答对。具体来说，正确选项形容了视频中违犯物理知识原则的特定故障形态。为了增强插手选项的信得过度，本文条目插手选项中的故障形态应与视频中不雅察到的个体或动作高度关连，这使视频LLM清楚故障本体，而不单是通过识别包含的物体或动作来遴荐谜底。
质料甘休:
为了保证数据集的质料，本文进行了一项包括东谈主工查验和自动LLM援救查验在内的双重质料甘休过程：
东谈主工查验：通盘初步标注的问答对都经过不同东谈主工标注东谈主员的严格交叉查验。关于正确选项，查验东谈主员必须评估它们是否全面准确地形容了通盘存在的物理知识违犯实例。关于插手选项，查验东谈主员需评估它们是否满盈具有诱导性；LLM 援救查验: 团队去除那些仅凭问题和选项，不需要检察视频就能由GPT-4o正确修起的问答对。
△PhysGame示例
PhysInstruct&PhysDPO数据集构建
PhysInstruct:
为了擢升视频LLM的物理知识清楚才能，团队成就了PhysInstruct数据集用于监督微调。视频荟萃过程与PhysGame中的进程疏导。为了留心数据露出，团队严格排斥任何已包含在PhysGame中的视频。团队解任Self-instruct范式通过请示GPT-4o来构建PhysInstruct。
PhysDPO:
团队构建了偏好对王人数据集PhysDPO，以提供更信得过和可靠的修起。如图3所示，团队将PhysInstruct 数据聚合生成的谜底视为preferred修起，而dis-preferred修起则通过元信息蜕变（meta-information hacking）、期间蜕变（temporal hacking）和空间蜕变（spatial hacking）生成。团队用误导性的元信息以及减少帧数和裁减帧分辨率的视频帧来请示 GPT-4o。
以下是PhysDPO数据集构建进程图：
模子评估与分析
PhysGame benchmark 实验恶果:
在通盘独到模子中，GPT-4o和Gemini-1.5-pro证明最好，鉴识达到了56.1%和55.2%的平均准确率。在通盘细分鸿沟中，GPT-4o在摩擦和加快度方面证明优胜。比较之下，Gemini-1.5-pro在清楚与重力、弹性、反射、领受与透射、颜料和刚性关连的物理知识方面证明更强。现存的开源模子远远过期于独到模子。即即是证明最好的开源模子 LLaVA-OneVision，其平均准确率仅为47.7%。比较之下，本文提倡的PhysVLM在通盘独到和开源模子中都达到了最先进的性能。与开源步调比较，本文的PhysVLM在12个评估鸿沟中的6个鸿沟达到了最高性能。值得留心的是，PhysVLM-DPO在平均准确率这一方针上比最好证明的独到模子GPT-4o超出了3.4%。
△PhysGame benchmark实验恶果
Video-MME benchmark实验恶果:
本文的PhysVLM模子在通盘7B模子中证明优胜。令东谈主诧异的是，行动7B模子，PhysVLM-SFT和PhysVLM-DPO在举座证明上鉴识比 34B 模子 LLaVA-NeXT-Video提高了3.2%和3.8%的王人备值。通过比较PhysVLM-SFT和PhysVLM-DPO，团队发现，使用所提倡的PhysDPO数据进行 DPO熟习在短视频和长视频上的证明都有所擢升，而在中等长度的视频上的证明略有下落。
△Video-MME benchmark实验恶果
VCG benchmark实验恶果:
在仅使用SFT的模子中，本文的PhysVLM-SFT在平均得分方面证明最好。在四个子类别的评估中，PhysVLM-SFT在信息正确性和一致性类别上证明尤为出色。与使用DPO或PPO熟习的PPLLaVA和LLaVA-Next-Video比较，本文的PhysVLM-DPO也展现出超卓的性能，进一步考据了所提倡的PhysVLM模子在通用视频清楚中的出色才能。
△VCG benchmark实验恶果
PhysVLM关连论文、代码、数据均已开源:
pre-prints: https://arxiv.org/abs/2412.01800代码聚首: https://github.com/PhysGame/PhysGameleaderboard: https://physgame.github.io/#leaderboard