多模态大模型(MLLM)在静态图像上已经展现出卓越的 OCR 能力,能准确识别和理解图像中的文字内容。然而,当应用场景从静态图像拓展至动态视频 时,即便是当前最先进的模型也面临着严峻的挑战。
视频作为一种信息密度更高、场景更复杂的模态,其 OCR 任务的难度远超静态图像:
目前,MLLM 在视频 OCR 领域的真实性能如何?其核心局限性体现在哪些方面?我们应如何系统地评估并推动其发展?这些关键问题亟待一个明确的答案。
一、主要贡献
为了解决以上问题,快手可灵团队联合北京大学、清华大学、中科院自动化所等单位提出了 MME-VideoOCR,该 Benchmark 致力于系统评估并推动 MLLM 在视频 OCR 中的感知、理解和推理能力,目前该论文已被NeurIPS 2025会议录用。
论文链接:https://arxiv.org/abs/2505.21333
主要贡献如下:
构建精细的任务体系:
精心构建了 10 大任务类别,进一步细分为 25 个独立任务。 评测维度超越基础识别,深入考察时序理解、信息整合及复杂推理等高阶能力。
高质量、大规模数据集:
包含了1,464 个精选视频片段,覆盖不同的分辨率、时长与场景。 构建了2,000 条高质量、经人工标注的问答对,确保评测的精确性。
揭示当前 MLLM 的能力边界与局限:
对包括闭源与领先开源模型在内的 18 个主流 MLLM 进行了深入评测。 系统化分析了各模型在不同视频 OCR 任务中的表现,明确了其优势与 亟待改进的短板。 即便是 Gemini-2.5 Pro,其整体准确率也仅为 73.7%,显示出当前 MLLM 在视频 OCR 领域的巨大挑战。
二、MME-VideoOCR 评测框架详解
MME-VideoOCR 的设计核心在于其 全面性 与 深度,旨在评估模型从“看见”到“理解”视频文字信息的全方位能力。
2.1 数据构建
MME-VideoOCR 的数据集源于部分高质量数据集和人工采集与构造,经过精心筛选与处理,确保其:
多样性:涵盖生活记录、影视娱乐、教育科普、体育赛事、游戏直播等多元化场景。 挑战性:融入运动模糊、低分辨率、复杂背景、艺术字体、文字遮挡、多语言混合等真实世界的复杂因素。 时序性:特别设计了需要跨帧理解、追踪文字动态、整合时序信息的复杂任务,考验模型的动态处理能力。
考虑到短视频、弹幕视频及 AIGC 视频的逐渐普及,MME-VideoOCR 额外引入了这些特殊类型的视频,增加了数据的全面性。共收集1,464个视频和 2000 条样本。
2.2 任务设计
2.2 任务设计
10 大任务类别 与 25 个子任务紧密围绕视频 OCR 的核心挑战,重点评估模型在以下方面的能力:
基础识别:在各种视频条件下准确识别文字及其属性。 时空定位:识别文字在视频中的时间、空间位置。 时序追踪:理解文字内容随时间的演变。 特殊文本解析:对表格、图表、文档、公式、手写体等特殊文本进行有效解析。 信息整合:结合视频上下文与文字进行综合理解。 场景理解:在特定视频情境下解读文字的深层含义。 复杂推理:基于视频中的文字信息进行逻辑判断与问答。 模型鲁棒性:对于 AIGC、对抗样本和超长视频的有效理解。
三、评估策略
针对不同任务的特点和标准答案可能存在的灵活性,设计了字符串匹配、多选题以及 GPT 辅助评分三种评测方式。
四、实验发现总结
通过对 18 个主流 MLLM 的深度评测,MME-VideoOCR 揭示了以下关键发现:
整体性能:提升空间巨大
顶尖模型面临挑战:Gemini 2.5 Pro 虽然表现最佳,但 73.7% 的准确率表明,即便是 SOTA 模型在应对复杂视频 OCR 任务时也远未达到理想状态。 开源模型差距显著:当前多数开源 MLLM 在视频 OCR 任务上的表现与顶尖闭源模型相比,存在较大差距,大多数开源模型准确率甚至不足 60%。
能力短板:时序与推理是关键瓶颈
静态易,动态难:模型处理 单帧或短时序 的文字信息相对较好,但在需要 整合长时序信息、理解文字动态变化 时,性能显著下降。 时空推理能力薄弱:要求结合文字内容及其时空信息进行推理的任务,是当前 MLLM 的 普遍弱点。
语言先验依赖问题:模型在进行视频文字理解时,有时会过度依赖其语言模型的先验知识,而未能充分利用视觉信息进行判断。
优化关键:高分辨率与时序信息
五、总结
作为旨在全面评估 MLLM 视频 OCR 能力的基准,MME-VideoOCR不仅量化了当前技术的性能边界,更重要的是为未来的研究与开发指明了方向。我们期待 MME-VideoOCR 能够激发更多创新,推动 MLLM 在视频理解领域取得实质性突破,使其真正能够读懂、理解并应用于日益丰富的视频世界。
-END-
欢迎加入
”
【相关阅读】
推荐站内搜索:最好用的开发软件、免费开源系统、渗透测试工具云盘下载、最新渗透测试资料、最新黑客工具下载……




还没有评论,来说两句吧...