越南语 YouTube 语音语料库(2026 年批次)
数据集简介
一眼概览
这是一批面向越南语语音识别研究的真实语音数据。全部音频取自 YouTube,只保留 2026 年上传的内容,采集截止到 2026 年 10 月 13 日。一个数据单元约 10,000 小时,本批次为 yt2026_batch03_10kh,后续还将陆续发布更多单元,目标规模为 5 万至 10 万小时。
语料库的用途
语料库的定位是“真实、无脚本”的越南语语音,可直接用于训练和评估越南语自动语音识别(ASR)系统。由于素材来自公开视频平台的自然口语场景,而非朗读或录音棚录制,适合检验模型在真实条件下的鲁棒性。
内容构成
- 音频:36,088 个 .webm 文件,Opus 48 kHz 单声道,未做重编码;仅含音频,不含视频与图像。
- 元数据:39,684 个 .info.json 文件,由 yt-dlp 抓取,与音频文件一一对应存放。
- 清单与校验:manifest.jsonl(每个音频文件一条 JSON 记录)、SHA256SUMS、files.txt、stats.json、used_ids.txt、UNIT.json。
- 文件总数合计 75,772 个,总大小 683.4 GB;平均文件大小 18.9 MB,中位文件大小 6.1 MB。
音频与元数据按如下路径组织:
audio/<channel_id>/<upload_date>#<title>#<channel_id>#<video_id>_<duration>.webm
audio/<channel_id>/<upload_date>#<title>#<channel_id>#<video_id>_<duration>.info.json
manifest.jsonl 字段说明
manifest.jsonl 每行对应一个音频文件,字段包括:
| 字段 | 含义 |
|---|---|
| rel_path | 相对路径 |
| audio_path | 音频文件路径 |
| video_id | YouTube 视频 ID |
| channel_id | 频道 ID |
| upload_date | 上传日期 |
| duration | 时长(秒) |
| size | 文件大小 |
| mtime | 文件修改时间 |
| sha256 | 文件校验值 |
| info_json_path | 对应 info.json 路径 |
使用方式
使用时可先读取 manifest.jsonl 获取全部音频的相对路径、频道、上传日期与时长等信息,再按需加载对应 .webm 文件;SHA256SUMS 可用于校验文件完整性,files.txt 提供文件清单,stats.json 汇总统计信息,used_ids.txt 记录已使用的视频 ID,UNIT.json 描述当前数据单元。
覆盖范围
音频来自 702 个 YouTube 频道,发布窗口为 2026 年 1 月 1 日至 2026 年 10 月 13 日,仅收录 2026 年上传的视频(硬性过滤条件为上传日期不早于 2026 年 1 月 1 日)。片段中位时长为 414 秒,最短 1 秒,最长 46,489 秒;不超过 10 秒的片段有 342 个,不少于 30 分钟的片段有 6,983 个。
质量与局限
音频保持原始 Opus 编码,未做重编码,避免二次压缩损失;但素材长度分布跨度很大,从 1 秒到十余小时不等,使用时需按任务需要截断或筛选。语料不含文本标注,属于无脚本语音,用于 ASR 训练时需自行配套转写流程。
伦理、来源与访问条款
数据采集自 YouTube 公开视频,仓库公开可见,但访问文件与内容需登录、同意共享 HF Mirror 信息并接受访问条件。许可为 research-only(仅限研究),使用时应遵守相应限制。
引用
若在研究中引用本语料库,请标注名称 SalmonAI123/yt2026_batch03_10kh(Vietnamese YouTube Speech Corpus — yt2026_batch03_10kh)。
后续计划
当前单元约 1 万小时,后续单元将继续扩充,整体目标为 5 万至 10 万小时。