韩语金融股票ASR混淆对数据集
数据集简介
数据来源与构建动机
该数据集面向韩语金融/股票领域的 ASR 错误纠正任务,其混淆对并非人工编写,而是从韩国金融、股票类 YouTube 频道的自动字幕中实测统计得到。语料共覆盖 9,184 个视频、69 个频道、3,676.0 小时语音,平均每个视频 24.0 分钟。自动字幕中的误识别被整理为 wrong/right 配对,并记录观察频次,从而反映 ASR 在真实金融语境下实际出错的分布。
仓库内容与数据组织
仓库以文本模态组织数据,文件格式包括 json、csv 与 txt,主要文件与字段如下:
data/pairs.json:混淆对主表,字段含wrong、right、observed_count、tier、category;data/biasing-list.txt:可直接用作 ASR 偏置词表的文本列表;data/withdrawn.json:记录被撤回的条目;benchmark/eval-set.json:mini benchmark 的评测集。
每条混淆对除观察频次外,还附带验证元数据,包括 2-LLM 共识审计与三级晋升(tier)标记,便于按可信度分层使用。
ASR 实际出错频率
observed_count 字段直接给出每个混淆对在语料自动字幕中的出现次数,可用于估计 ASR 在金融/股票场景下把某个词误识别为另一词的实际频率。结合 tier 与 category,使用者可以按频次高低或类别筛选高价值混淆对,而不必依赖主观猜测。
作为 ASR 偏置词表使用
data/biasing-list.txt 将混淆对中的正确词形整理为纯文本列表,可直接作为 ASR 解码阶段的偏置词表(biasing vocabulary)加载,用于提升金融/股票专有名词的识别准确率。该列表与 pairs.json 中的 right 字段对应,便于按需重新生成或裁剪。
评测集与计分方式
配套 mini benchmark 的评测集为 1,193 条合成样本,不包含字幕原文。任务设定为:给定含 ASR 误识别的韩语金融句子,模型只修正误识别处,不改动其他内容。计分时对修正与过度修正合并计算,以约束模型在纠正错误的同时避免引入新的改动。
被撤回的条目
data/withdrawn.json 记录了从数据集中撤回的混淆对条目,供使用者核查数据版本变化与剔除原因,确保基于旧版本构建的词表或评测结果可追溯。
许可与获取方式
数据集采用 MIT 许可,并包含 LICENSE-DATA 数据许可,通过 GitHub 公开仓库提供下载,可自由用于研究与开发。