MMBench

MMBench 由上海人工智能实验室联合多所顶尖高校打造，是面向视觉-语言大模型的权威中文评测平台。它围绕“感知→认知”链路，把多模态能力拆成 20 个细粒度维度，精选近 3000 道单选题，并配套 OpenCompass 分布式评测框架，提供可复现、可对比、可追踪的在线测试与排行榜服务。用户无需本地部署，浏览器即可提交模型或查看报告，帮助产学研快速定位模型短板、指导迭代优化。

1. 在线评测：上传模型或调用 API，一键启动 20 维能力测试，自动生成 PDF/CSV 报告。
2. 排行榜：实时展示国内外 70+ 开源/闭源模型的榜单，支持按维度、时间、版本筛选。
3. 题库浏览：可检索、预览 3000 题图文对，查看标注说明与难度评级，便于教学与科研引用。
4. 循环验证：同一题目随机打乱选项多次提问，确保模型输出一致性，降低侥幸正确率。
5. ChatGPT 精准匹配：即使模型回答格式不规范，也能准确映射到选项，提升评分鲁棒性。
6. 分布式加速：依托 OpenCompass 框架，支持本地/云端并行评测，千卡级大模型也能小时级完成。
7. API 接入：提供标准化接口，方便企业 CI/CD 流水线自动拉取最新评测结果。
8. 报告分享：生成带水印的在线链接，一键分享给团队或投资人，支持嵌入 PPT。

• 模型研发：团队每迭代一版即可在线跑分，快速定位“文字识别”“动作理解”等维度差距。
• 高校教学：教师直接调用题库做课堂案例，学生提交作业模型即可自动评分。
• 企业选型：金融、医疗、零售客户对比不同商用多模态 API，用榜单量化性价比。
• 竞赛评测：学术会议或黑客松将 MMBench 作为官方基准，保证公平统一。
• 投资尽调：VC 通过公开榜单与详细报告，判断初创公司模型真实水平。

• 维度细：20 个感知+认知子任务，覆盖目标检测、OCR、推理、文化理解等，避免“偏科”。
• 题目精：3000 题均来自互联网与权威数据集，人工二次审核，难度梯度合理。
• 鲁棒强：循环+匹配双重机制，平均降低 10~20% 侥幸正确，结果更可信。
• 零门槛：网页上传即可跑，支持 HuggingFace、OpenAI、Claude 等接口，无需写代码。
• 可复现：开源脚本、随机种子、完整日志一键下载，任何团队都能重跑验证。
• 社区大：联合 10+ 高校与 50+ 企业共建，持续更新题库与榜单，形成行业标准。