药物基因组学智能体评测基准数据集

自然科学
0 下载
30 浏览
2026-08-01

数据集简介

数据集概述

AgenticGenomics 是用于药物基因组学智能体评测的基准数据集,由 Corpas 等人(2026)在论文《Trustworthy agentic genomics requires validated skills, not better models》中提出。该数据集旨在评估大型语言模型在药物基因组学任务中的技能,而非单纯追求模型性能。

实验设计

数据集包含多项实验设计,以全面评估智能体在药物基因组学中的表现:

  • 匹配的五细胞比较:包含 13,200 次评估,用于比较不同模型和条件的性能。
  • 规则提取:从模型中提取决策规则,以理解其推理过程。
  • 双向损坏合约实验:通过损坏输入测试模型的鲁棒性。
  • GeT-RM 外部共识比较:与 GeT-RM 外部共识数据进行比较,验证结果的可靠性。
  • 四队列真实基因组分析:在四个真实基因组队列上进行分析,评估模型在真实数据上的表现。
  • 输入归一化实验:测试输入归一化对模型性能的影响。

数据规模

数据集包含 44,550 次评估,具体设计为:9 个前沿大型语言模型 × 110 个 CPIC A 级药物基因组学案例 × 3 个人群(欧洲、拉丁美洲混血、东非)× 5 种条件 × 3 次重复。

数据文件

数据文件以 JSON、JSONL 和 CSV 格式提供,包括:

  • v3_raw.json、v3_raw_mistral.json、v3_rag_raw.json 等原始数据文件
  • v3_raw_rescored.json 及临床等效版本
  • v3_armAB_fullgrid.json 及其 JSONL 版本
  • v3_armA9_armBv2.json 及 POP 版本
  • v3_adversarial_scrambled.json、v3_adversarial_reverse.json
  • v3_rag_genedrug_chunking.json
  • v3_three_arm_a2_regression_classified.csv 等 CSV 文件

许可与获取

数据集采用 CC BY 4.0 许可,允许共享和改编,但需注明出处。数据可通过 Zenodo 记录获取。

基本信息

记录数量未知
文件大小未知
文件格式JSON, JSONL, CSV
数据来源Zenodo
许可CC BY 4.0
规模44,550 evaluations
数据落地页https://zenodo.org/records/21736633
发布日期2026-08-01
官方下载https://zenodo.org/api/records/21736633/files/24-AGENTIC-PGX-BENCHMARK_cg-revision-2026-08-01b.zip/content
可下载文件24-AGENTIC-PGX-BENCHMARK_cg-revision-2026-08-01b.zip(16 MB);24-AGENTIC-PGX-BENCHMARK_cg-revision-2026-08-01.zip(16 MB);24-AGENTIC-PGX-BENCHMARK_repo_3f482d4.zip(9.5 MB);v3_raw_rescored_three_arm.json(35.1 MB);v3_raw_rescored_clinical_eq.json(22.8 MB)
药物基因组学智能体基准数据集大型语言模型CPIC

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费