Sagarmatha V6 尼泊尔语语音识别语料
数据集简介
语料构成
Sagarmatha V6 语料面向尼泊尔语自动语音识别任务,是 Sagarmatha V6 Whisper 微调模型训练与评分所依据的数据集合。原始素材为 2,152 个尼泊尔语 YouTube 视频,合计 1,505.4 小时音频,其中 1,347.3 小时被判定为语音。所有素材由教师模型 gemini-3.6-flash 完成标注,随后进行强制对齐并切分为不超过 30 秒的窗口,最终形成 1,270.6 小时、280,376 个窗口的语料。每个窗口除音频外还携带是否含语音的标记与视频语域标签,并最多附带四种转写模式的目标文本。
数据划分
语料按用途划分为四个子集,各子集规模如下:
| 子集 | 窗口数 | 时长(小时) | 视频数 |
|---|---|---|---|
| train | 270,055 | 1,223.5 | 2,029 |
| validation | 2,802 | 12.6 | 61 |
| test_in_domain | 5,627 | 25.7 | 29 |
| test_channel | 1,892 | 8.8 | 8 |
每个子集均为 V6 模型实际训练与评分所用的同一份 FLAC 音频,规格为 16 kHz、16-bit 单声道,全部音频合计 82.8 GB,其中 train 子集约 80 GB。
四种转写模式
每个窗口最多提供四种目标文本,由书写系统与转写风格两个维度交叉组合而成:
text_deva_verbatim:天城文逐字转写text_deva_clean:天城文清洗转写text_mixed_verbatim:天城文与拉丁字母混写、逐字转写text_mixed_clean:天城文与拉丁字母混写、清洗转写
这一设计让同一段音频可以对应不同书写系统与规范化程度的标注,便于按研究需要选择训练目标。
字段与使用方式
每条记录包含以下字段:split、audio、text_deva_verbatim、text_deva_clean、text_mixed_verbatim、text_mixed_clean、is_speech 以及 register(视频语域标签)。音频以 FLAC 无损格式存储,文本以 parquet 组织。由于 train 子集约 80 GB,加载时使用 streaming=True 可避免整体下载。
语域分布
语料附带视频语域标签 register,用于描述各窗口所属视频的内容类型,便于在训练与评测中按语域分析模型表现。
参考结果
该语料是 Sagarmatha V6 Whisper 微调模型训练与评分的基准数据,相关参考结果对应 V6 模型在各子集上的识别表现,可作为后续模型对比的参照。
已知限制
音频全部来自公开 YouTube 视频,版权归原视频创作者所有,使用者不得再分发音频。标注由教师模型自动生成,转写质量受教师模型能力约束。访问权限人工审批,仅限非商业研究用途。
许可与访问
许可标识为 youtube-audio-research-access-on-request。仓库公开可见,但需登录并接受使用条件,经人工审批后方可获得访问权限;仅限非商业研究。请求访问即表示同意不再分发音频。