Palace 配置修复执行级基准数据集
自然科学
0 下载
2 浏览
2026-10-12
数据集简介
面向可执行验证的配置修复任务
本数据集服务于 Palace 配置文件的自动修复评测。Palace 是开源有限元电磁求解器,其配置以 JSON 描述求解设置;配置一旦被破坏,可能无法通过校验、被求解器拒绝,或产生物理上不正确的结果。数据集给出的提示词明确要求:面对一个被破坏的 Palace 配置文件,返回单个修正后的 Palace 配置 JSON。与仅检查结构是否符合 schema 的做法不同,该基准以执行结果作为评分依据(execution-graded repair tasks),强调修复后的配置能够真正运行并得到正确物理结果。
样本组织与字段构成
每条样本围绕一次配置扰动展开,覆盖 ship 等子集与多种错误类别(如 drop_required_section)。可用字段包括:
task_id:任务编号subset:所属子集case:具体案例error_class:错误类别variant:变体prompt:提供给模型的提示词perturbed_config:被扰动的配置perturbation_location:扰动位置perturbation_original:扰动前原始片段perturbation_corrupted:扰动后损坏片段perturbation_description:扰动说明alters_L0:是否改动 L0reference_config_path:参考配置路径reference_dir:参考目录
借助这些字段,可以定位错误发生的位置、对比原始与损坏内容,并依据参考配置核对修复结果。
文件、规模与获取方式
数据集以 JSON 文本形式提供,共 114 行,规模小于 1K。公开页面提供 Files and versions 区域,可直接浏览、预览并下载数据文件;数据采用 Apache-2.0 许可,公开可下载。
论文与引用
该基准对应论文《Beyond Schema Conformance with Executable Verification for Scientific Configuration Repair》,发表于 NeurIPS 2026 Workshop on AI for Verifiable Coding。使用本数据集时请引用该论文。
基本信息
记录数量未知
文件大小未知
文件格式JSON
数据来源Empirisch Tech GmbH
数据规模114 行
许可协议Apache-2.0
数据模态文本
数据落地页https://huggingface.co/datasets/empirischtech/Palace-Config-Repair
发布日期2026-10-12
Palace配置文件修复有限元电磁执行级验证科学计算基准数据集
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载