MiniMax M3 深度搜索评估数据集
机器学习
0 下载
7 浏览
2026-09-09
数据集简介
数据集概述
MiniMax M3 DeepSearchQA Skill Eval 数据集用于评估 minimax/minimax-m3 模型在 google/deepsearchqa 基准上的问答能力。评估利用 Pi agent 搭建,配合 You.com MCP 工具及专门针对该评估框架、模型和工具表面优化的研究技能进行。数据集包含两个子集:results(2.7k 行)和 prompts(900 行)。评估重点在于模型在复杂搜索与推理任务中的表现,涵盖得分、通过情况、令牌消耗及成本等关键指标。
评估方法与工具
评估过程涉及多组件协作:
- Agent:使用 Pi agent 作为执行主体。
- Tools:集成 You.com MCP 工具,并配合研究技能进行深度检索。
- Optimization:研究技能针对特定的评估框架、模型和工具环境进行了优化。
数据子集与字段
数据集结构包含两个主要子集:
- results:包含 2.7k 行评估结果。
- prompts:包含 900 行提示词。
results 子集字段说明:
label:标签taskId:任务IDtrialIndex:试验索引trialId:试验IDmodel:模型名称provider:提供商thinkingLevel:思考深度status:状态score:得分pass:是否通过gradable:是否可评分fullyCorrect:完全正确fullyIncorrect:完全错误correctWithExtraneousAnswers:有无关答案的正确结果partiallyCorrect:部分正确correctCount:正确数量expectedCount:期望数量excessiveCount:超额数量durationMs:耗时(毫秒)toolCallCount:工具调用次数failedToolCallCount:失败的工具调用次数errorCount:错误次数modelCostUsd:模型成本(美元)youApiCostUsd:You.com API 成本(美元)totalCostUsd:总成本(美元)inputTokens:输入令牌数outputTokens:输出令牌数totalTokens:总令牌数searchCalls:搜索调用次数searchExtractionPages:搜索提取页面数contentsCalls:内容调用次数contentsPages:内容页面数
评估结果摘要
根据数据源站摘要,使用 You.com 研究技能的 MiniMax M3 Medium Reasoning 模型在调整后得分达到了 74.85%。这表明该模型在结合深度搜索工具与特定研究技能后,具备了一定的复杂问题解决能力。
技术规格与许可
- 数据格式:JSON
- 许可证:MIT
- 库支持:Datasets, pandas, Polars
- 规模:1K - 10K 行(results 子集 2.7k 行,prompts 子集 900 行)
- 发布日期:2026-09-09
基本信息
记录数量未知
文件大小未知
文件格式json
数据来源youdotcom
子集results (2.7k 行), prompts (900 行)
许可证MIT
数据落地页https://huggingface.co/datasets/youdotcom/minimax-m3-deepsearchqa-skill-eval
发布日期2026-09-09
MiniMax M3问答评估深度搜索模型基准代理评估
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载