PieArena:语言智能体谈判评测基准
机器学习
0 下载
0 浏览
2026-11-07
数据集简介
评测目标与谈判设定
PieArena 面向语言智能体在双方谈判中的表现评估。其谈判场景具有两项关键设定:谈判双方各自掌握私下信息,且谈判结果对应确定性收益。这一设定使评测不仅关注对话是否流畅,更关注智能体在信息不对称条件下能否达成可量化的谈判结果。
对话记录的组织方式
数据集的核心内容是语言模型与语言模型之间的谈判对话记录(transcripts)。这些记录来自两类对局安排:
- 跨对局(cross-play):不同模型或配置之间进行谈判;
- 镜像对局(mirror-play):相同模型或配置之间进行谈判。
上述对局在三种智能体运行框架(agentic-harness)配置下产生,因此对话记录能够反映框架配置差异对谈判过程的影响。
结果标签与智能体画像
每条对话记录均附有对应运行的结果标签,用于标记该次谈判运行的结果。结合跨对局与镜像对局的设计,这些结果标签可支撑对语言智能体进行排名与画像,即比较不同智能体在谈判场景中的相对表现,并刻画其行为特征。
引用与获取
PieArena 的论文标题为《PieArena: Ranking and Profiling Language Agents in Realistic Negotiation Scenarios》。数据集通过 Harvard Dataverse 公开提供,落地页为 https://doi.org/doi:10.7910/DVN/UYI2O5 ,DOI 为 10.7910/DVN/UYI2O5,发布日期为 2026 年 11 月 7 日。
基本信息
记录数量未知
文件大小未知
文件格式未知
数据来源Harvard Dataverse
DOI10.7910/DVN/UYI2O5
数据落地页https://doi.org/doi:10.7910/DVN/UYI2O5
发布日期2026-11-07
语言智能体谈判评测对话记录基准数据集智能体排名
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载