PieArena:语言智能体谈判评测基准

机器学习
0 下载
0 浏览
2026-11-07

数据集简介

评测目标与谈判设定

PieArena 面向语言智能体在双方谈判中的表现评估。其谈判场景具有两项关键设定:谈判双方各自掌握私下信息,且谈判结果对应确定性收益。这一设定使评测不仅关注对话是否流畅,更关注智能体在信息不对称条件下能否达成可量化的谈判结果。

对话记录的组织方式

数据集的核心内容是语言模型与语言模型之间的谈判对话记录(transcripts)。这些记录来自两类对局安排:

  • 跨对局(cross-play):不同模型或配置之间进行谈判;
  • 镜像对局(mirror-play):相同模型或配置之间进行谈判。

上述对局在三种智能体运行框架(agentic-harness)配置下产生,因此对话记录能够反映框架配置差异对谈判过程的影响。

结果标签与智能体画像

每条对话记录均附有对应运行的结果标签,用于标记该次谈判运行的结果。结合跨对局与镜像对局的设计,这些结果标签可支撑对语言智能体进行排名与画像,即比较不同智能体在谈判场景中的相对表现,并刻画其行为特征。

引用与获取

PieArena 的论文标题为《PieArena: Ranking and Profiling Language Agents in Realistic Negotiation Scenarios》。数据集通过 Harvard Dataverse 公开提供,落地页为 https://doi.org/doi:10.7910/DVN/UYI2O5 ,DOI 为 10.7910/DVN/UYI2O5,发布日期为 2026 年 11 月 7 日。

基本信息

记录数量未知
文件大小未知
文件格式未知
数据来源Harvard Dataverse
DOI10.7910/DVN/UYI2O5
数据落地页https://doi.org/doi:10.7910/DVN/UYI2O5
发布日期2026-11-07
语言智能体谈判评测对话记录基准数据集智能体排名

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费