Palace 配置修复执行级基准数据集

自然科学
0 下载
2 浏览
2026-10-12

数据集简介

面向可执行验证的配置修复任务

本数据集服务于 Palace 配置文件的自动修复评测。Palace 是开源有限元电磁求解器,其配置以 JSON 描述求解设置;配置一旦被破坏,可能无法通过校验、被求解器拒绝,或产生物理上不正确的结果。数据集给出的提示词明确要求:面对一个被破坏的 Palace 配置文件,返回单个修正后的 Palace 配置 JSON。与仅检查结构是否符合 schema 的做法不同,该基准以执行结果作为评分依据(execution-graded repair tasks),强调修复后的配置能够真正运行并得到正确物理结果。

样本组织与字段构成

每条样本围绕一次配置扰动展开,覆盖 ship 等子集与多种错误类别(如 drop_required_section)。可用字段包括:

  • task_id:任务编号
  • subset:所属子集
  • case:具体案例
  • error_class:错误类别
  • variant:变体
  • prompt:提供给模型的提示词
  • perturbed_config:被扰动的配置
  • perturbation_location:扰动位置
  • perturbation_original:扰动前原始片段
  • perturbation_corrupted:扰动后损坏片段
  • perturbation_description:扰动说明
  • alters_L0:是否改动 L0
  • reference_config_path:参考配置路径
  • reference_dir:参考目录

借助这些字段,可以定位错误发生的位置、对比原始与损坏内容,并依据参考配置核对修复结果。

文件、规模与获取方式

数据集以 JSON 文本形式提供,共 114 行,规模小于 1K。公开页面提供 Files and versions 区域,可直接浏览、预览并下载数据文件;数据采用 Apache-2.0 许可,公开可下载。

论文与引用

该基准对应论文《Beyond Schema Conformance with Executable Verification for Scientific Configuration Repair》,发表于 NeurIPS 2026 Workshop on AI for Verifiable Coding。使用本数据集时请引用该论文。

基本信息

记录数量未知
文件大小未知
文件格式JSON
数据来源Empirisch Tech GmbH
数据规模114 行
许可协议Apache-2.0
数据模态文本
数据落地页https://huggingface.co/datasets/empirischtech/Palace-Config-Repair
发布日期2026-10-12
Palace配置文件修复有限元电磁执行级验证科学计算基准数据集

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费