配资知识信息服务视频大模型新基元：用Object Tokens重塑细节感知与指代理解

配资知识信息服务来源：易配宝配资网站：闻喜配资日期：2025-11-28 18:55:58 查看：132

被顶会 ICCV 2025 以 554 高分接收的视频理解框架来了！配资知识信息服务

视频包含的信息远比图像复杂，现有的 Video-LLM 常靠下采样或 Token 聚合来"挤"进语言模型，难免会丢细节并造成语义纠缠（entanglement）。

于是，北大和 UCSD 团队提出VideoOrion——

直接把前景里显著的时空动态编码成 Object Tokens 并与 Context Tokens 并行喂给 LLM，搭建出一个高效、可解释、具指代能力的视频理解框架。

将 Object Dynamics 显式提炼成离散的 Token，既可压缩数据量，又让 LLM 的对齐更自然。

实验显示，它在 MVBench、EgoSchema、Perception-Test、VideoMME、ActivityNet-QA 等上整体领先，并自然演化出视频指代问答能力。

核心方法：双分支编码 + 用"检–分–跟"三步组成物体动态 tokenizer

传统视频 Token 多是按空间栅格或特征聚合得到，语义容易纠缠。

VideoOrion 把对象及其跨帧演化当作一级语义单位，使 LLM 在推理时可以沿对象维度整合细节，既提升细粒度问答，也为指代等需要"锁定实例"的任务提供天然接口。

在以下案例中：相比仅场景级描述，模型能说清"红色三轮滑板车 + 拖地组件"的细节或"黑色泳装 + 跳板后空翻"的动作要素。

据了解，VideoOrion 采用双分支并行编码：

Context Tokens：用 CLIP（VideoOrion）/SigLIP（VideoOrion+）编码采样帧，经 STC Connector 投影为上下文 Token（如每帧数百个），主要承载背景 / 场景等泛化信息；

Object Tokens：通过检测—分割—跟踪（detect – segment – track）的 pipeline，在以 GroundingDINO（通用模式）在关键帧产生对象候选框之后用 SAM 将候选框细化为对象掩码，确保边界与形状信息；再用 XMem 跨帧跟踪对象掩码，得到随时间演化的掩码序列；最后对掩码池化后的特征做投影（线性 /MLP 即可），形成紧凑的 Object Token（数量上限可控，语义 disentangle）。

两类 Token 将被一起输入 LLM 融合推理。

因为视频里前景会进出画面、场景突变，研究另提出按前景物体出现变化自适应切片以稳健检测与关联，避免均匀切段带来的跨段错配。

在对象流水线的替换实验中（提案器 / 分段策略 / 跟踪器），无论用 RAM++、Mask2Former 做提案，还是改为均匀 / 不切分，或以 SAM2 替代 XMem，整体都稳定优于仅视频分支，最佳组合为 RAM++ 分段 + GroundingDINO 提案 + XMem 跟踪。

实验与结果：细节理解与指代能力双提升

VideoOrion（7B）在MVBench / EgoSchema / Perception-Test / VideoMME / ActivityNet-QA上，全面超越同 backbone 的 VideoLLaMA2/2.1。

具体相对涨幅分别为 +10.1%、+14.6%、+15.6%、+8.7%、+7.8%（VideoOrion+ 亦有相近或更高增幅），体现了 Object Token 带来的细粒度语义增益。

进一步看表格数值：在 7B LLM 设置下，VideoOrion 在 MVBench/EgoSchema/Perception-Test/VideoMME（w/o/w subs）/ActivityNet-QA（Acc/Score）达到 63.5 / 65.1 / 65.2 / 54.6 – 55.3 / 57.7 – 3.7，相对多款开源 / 闭源同规模模型具有明显优势。