阿拉伯语多语种语音合成与识别聚合数据集
数据集简介
Dataset Card
该数据集由 RidheshBhati 创建,并在 HuggingFace 平台公开发布,名称为“Arabic TTS/ASR Aggregated Dataset”。数据集的目的是为文本转语音(TTS)和自动语音识别(ASR)任务提供经过清洗和标准化的多语种语音数据。数据模态为音频与文本,格式为 Parquet。
数据集的语音数据已经过清洗、去重和响度归一化处理,确保音频质量的一致性。训练列包含音频(16-bit PCM WAV,采样率 22050 Hz)和文本,其余列则包含质量与来源元数据,便于用户筛选和追踪数据来源。
Files and versions
数据集以 Parquet 格式提供,用户可通过 HuggingFace 数据集页面直接下载。数据集的版本信息可在页面上的“Files and versions”部分查看,支持按需选择不同版本或文件。
Dataset Viewer
HuggingFace 提供了数据集查看器(Dataset Viewer),用户可以在线预览数据集的样本,包括音频文件、文本转录以及相关的元数据字段,便于快速了解数据结构。
Subset (1) default · 670k rows
数据集包含一个默认子集,共约 67 万行(670k rows)。该子集整合了所有语言的语音数据,并按照语言划分为五个部分(Split),分别为:
- arabic:约 184k 行
- japanese:约 146k 行
- korean:约 104k 行
- turkish:约 122k 行
- vietnamese:约 113k 行
每个部分都包含音频与文本对,以及相关的元数据字段,如说话人 ID、性别、方言、时长、采样率等。
Split (5): arabic/japanese/korean/turkish/vietnamese
数据集按语言划分为五个子集,每个子集对应一种语言。这种划分方式便于用户针对特定语言进行模型训练或评估。以下是各语言子集的简要说明:
- 阿拉伯语(arabic):约 18.4 万行,是数据集中最大的子集,适合阿拉伯语 TTS/ASR 任务。
- 日语(japanese):约 14.6 万行,提供日语语音数据。
- 韩语(korean):约 10.4 万行,提供韩语语音数据。
- 土耳其语(turkish):约 12.2 万行,提供土耳其语语音数据。
- 越南语(vietnamese):约 11.3 万行,提供越南语语音数据。
每个子集均包含音频文件(WAV 格式)和对应的文本转录,以及质量与来源元数据,如 RMS、LUFS、信噪比(SNR)等,方便用户进行数据筛选和质量评估。
数据字段说明
数据集的 schema 包含以下字段:
- audio:音频文件,格式为 16-bit PCM WAV,采样率 22050 Hz。
- text:对应的文本转录。
- duration:音频时长(秒)。
- sampling_rate:采样率,固定为 22050 Hz。
- language:语言标识(如 arabic、japanese 等)。
- dialect:方言信息(如有)。
- speaker_id:说话人唯一标识。
- gender:说话人性别。
- dataset_name:原始数据集名称,用于溯源。
- split:数据划分(如 train、validation 等)。
- uid:唯一标识符。
- rms:均方根能量,用于响度评估。
- lufs:响度单位(LUFS),用于响度归一化参考。
- snr:信噪比,用于音频质量评估。
这些字段为用户提供了丰富的元数据,便于进行数据筛选、质量控制和模型训练。
许可与访问
数据集的许可为“other”,但公开免费,用户可以直接从 HuggingFace 页面下载。下载方式为通过 HuggingFace 数据集页面,选择所需的文件或版本进行下载。
引用与来源
数据集由 RidheshBhati 发布,相关机构为 Linagora。如需引用,请参考 HuggingFace 数据集页面上的说明。