药物基因组学智能体评测基准数据集
自然科学
0 下载
30 浏览
2026-08-01
数据集简介
数据集概述
AgenticGenomics 是用于药物基因组学智能体评测的基准数据集,由 Corpas 等人(2026)在论文《Trustworthy agentic genomics requires validated skills, not better models》中提出。该数据集旨在评估大型语言模型在药物基因组学任务中的技能,而非单纯追求模型性能。
实验设计
数据集包含多项实验设计,以全面评估智能体在药物基因组学中的表现:
- 匹配的五细胞比较:包含 13,200 次评估,用于比较不同模型和条件的性能。
- 规则提取:从模型中提取决策规则,以理解其推理过程。
- 双向损坏合约实验:通过损坏输入测试模型的鲁棒性。
- GeT-RM 外部共识比较:与 GeT-RM 外部共识数据进行比较,验证结果的可靠性。
- 四队列真实基因组分析:在四个真实基因组队列上进行分析,评估模型在真实数据上的表现。
- 输入归一化实验:测试输入归一化对模型性能的影响。
数据规模
数据集包含 44,550 次评估,具体设计为:9 个前沿大型语言模型 × 110 个 CPIC A 级药物基因组学案例 × 3 个人群(欧洲、拉丁美洲混血、东非)× 5 种条件 × 3 次重复。
数据文件
数据文件以 JSON、JSONL 和 CSV 格式提供,包括:
v3_raw.json、v3_raw_mistral.json、v3_rag_raw.json等原始数据文件v3_raw_rescored.json及临床等效版本v3_armAB_fullgrid.json及其 JSONL 版本v3_armA9_armBv2.json及 POP 版本v3_adversarial_scrambled.json、v3_adversarial_reverse.jsonv3_rag_genedrug_chunking.jsonv3_three_arm_a2_regression_classified.csv等 CSV 文件
许可与获取
数据集采用 CC BY 4.0 许可,允许共享和改编,但需注明出处。数据可通过 Zenodo 记录获取。
基本信息
记录数量未知
文件大小未知
文件格式JSON, JSONL, CSV
数据来源Zenodo
许可CC BY 4.0
规模44,550 evaluations
数据落地页https://zenodo.org/records/21736633
发布日期2026-08-01
官方下载https://zenodo.org/api/records/21736633/files/24-AGENTIC-PGX-BENCHMARK_cg-revision-2026-08-01b.zip/content
可下载文件24-AGENTIC-PGX-BENCHMARK_cg-revision-2026-08-01b.zip(16 MB);24-AGENTIC-PGX-BENCHMARK_cg-revision-2026-08-01.zip(16 MB);24-AGENTIC-PGX-BENCHMARK_repo_3f482d4.zip(9.5 MB);v3_raw_rescored_three_arm.json(35.1 MB);v3_raw_rescored_clinical_eq.json(22.8 MB)
药物基因组学智能体基准数据集大型语言模型CPIC
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载