日语日期与格式处理能力评测基准

自然语言
0 下载
2 浏览
2026-10-30

数据集简介

基准的由来与定位

JP Format Bench 聚焦一个常被通用评测忽略的角落:模型对日本本地化格式规则的处理能力。日语场景中的日期常以年号书写,节假日与营业日影响日程计算,法人番号带有校验位,全角与半角字符混排更是日常文本的常态。该基准用 125 道确定性题目把这些规则逐项拆开检验,题目与答案均可由代码复算。

六类题型与题目分布

基准按能力维度划分为六个类别,题目数量如下表:

类别 考察内容 题量
to_wareki 西历转和历(年号) 25
from_wareki 和历转西历 25
holiday 法定节假日判断 25
business_days 营业日推算 20
corporate_number 13 位法人番号校验位 20
width 全角/半角字符宽度转换 10

节假日题目仅覆盖 2025 与 2026 两个年度,且以官方已公布的内容为准。字符宽度类题目对应 Unicode NFKC 规范化下的全角半角转换。

用代码生成答案

全部答案由仓库中的 jpfb/rules.py 计算得出,该脚本只使用 Python 标准库。题目文件位于 data/jp_format_bench_v1.jsonl,每行是一道题,字段包括 id 与 answer。评测流程由 jpfb/prompt 负责构造提示、jpfb/score 负责比对打分,因此任何人拿到仓库后都能重新跑出同一份答案。

运行方式

运行环境要求 Python 3.9 及以上版本,无任何第三方依赖,也不需要联网。仓库以 MIT 许可证开放,可直接从 GitHub 克隆后本地执行。

适用范围与边界

该基准只衡量上述六类格式规则的处理正确性,题目均为确定性问答,不涉及开放式生成质量评价。节假日数据限定在 2025–2026 年,超出该范围的日期判断不在覆盖之内。

日本語での位置づけ

本ベンチマークは日本語の日付・祝日・営業日・法人番号・文字幅といった表記規則への対応を確認するためのもので、回答はすべてコードで計算されます。

引用信息

项目名称:JP Format Bench;发布方:japan-ai-tools;发布日期:2026-10-30;许可证:MIT。

基本信息

记录数量未知
文件大小125 道题(to_wareki 25、from_wareki 25、holiday 25、business_days 20、corporate_number 20、width 10)
文件格式JSONL、Python
数据来源japan-ai-tools
代码语言Python
题目数量125
许可证MIT
运行环境Python 3.9+
数据落地页https://github.com/japan-ai-tools/jp-format-bench
发布日期2026-10-30
日语评测基准大语言模型评测和历日期法人番号字符宽度营业日推算

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费