MiniMax M3 深度搜索评估数据集

机器学习
0 下载
7 浏览
2026-09-09

数据集简介

数据集概述

MiniMax M3 DeepSearchQA Skill Eval 数据集用于评估 minimax/minimax-m3 模型在 google/deepsearchqa 基准上的问答能力。评估利用 Pi agent 搭建,配合 You.com MCP 工具及专门针对该评估框架、模型和工具表面优化的研究技能进行。数据集包含两个子集:results(2.7k 行)和 prompts(900 行)。评估重点在于模型在复杂搜索与推理任务中的表现,涵盖得分、通过情况、令牌消耗及成本等关键指标。

评估方法与工具

评估过程涉及多组件协作:

  • Agent:使用 Pi agent 作为执行主体。
  • Tools:集成 You.com MCP 工具,并配合研究技能进行深度检索。
  • Optimization:研究技能针对特定的评估框架、模型和工具环境进行了优化。

数据子集与字段

数据集结构包含两个主要子集:

  • results:包含 2.7k 行评估结果。
  • prompts:包含 900 行提示词。

results 子集字段说明:

  • label:标签
  • taskId:任务ID
  • trialIndex:试验索引
  • trialId:试验ID
  • model:模型名称
  • provider:提供商
  • thinkingLevel:思考深度
  • status:状态
  • score:得分
  • pass:是否通过
  • gradable:是否可评分
  • fullyCorrect:完全正确
  • fullyIncorrect:完全错误
  • correctWithExtraneousAnswers:有无关答案的正确结果
  • partiallyCorrect:部分正确
  • correctCount:正确数量
  • expectedCount:期望数量
  • excessiveCount:超额数量
  • durationMs:耗时(毫秒)
  • toolCallCount:工具调用次数
  • failedToolCallCount:失败的工具调用次数
  • errorCount:错误次数
  • modelCostUsd:模型成本(美元)
  • youApiCostUsd:You.com API 成本(美元)
  • totalCostUsd:总成本(美元)
  • inputTokens:输入令牌数
  • outputTokens:输出令牌数
  • totalTokens:总令牌数
  • searchCalls:搜索调用次数
  • searchExtractionPages:搜索提取页面数
  • contentsCalls:内容调用次数
  • contentsPages:内容页面数

评估结果摘要

根据数据源站摘要,使用 You.com 研究技能的 MiniMax M3 Medium Reasoning 模型在调整后得分达到了 74.85%。这表明该模型在结合深度搜索工具与特定研究技能后,具备了一定的复杂问题解决能力。

技术规格与许可

  • 数据格式:JSON
  • 许可证:MIT
  • 库支持:Datasets, pandas, Polars
  • 规模:1K - 10K 行(results 子集 2.7k 行,prompts 子集 900 行)
  • 发布日期:2026-09-09

基本信息

记录数量未知
文件大小未知
文件格式json
数据来源youdotcom
子集results (2.7k 行), prompts (900 行)
许可证MIT
数据落地页https://huggingface.co/datasets/youdotcom/minimax-m3-deepsearchqa-skill-eval
发布日期2026-09-09
MiniMax M3问答评估深度搜索模型基准代理评估

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费