Nemotron-CC-v2 Diverse-QA 问答
数据集简介
问答对嵌入的存储布局
数据集沿用 clm_train chunk-store 的组织方式,所有内容放在以 shard 划分的目录中:
shard_XX/chunk_YYYY_q8.npy与shard_XX/chunk_YYYY_a8.npy:分别存放问题侧与答案侧的 FP8 e4m3 向量;shard_XX/chunk_YYYY_q8s.npy与shard_XX/chunk_YYYY_a8s.npy:对应的每行 f32 缩放因子;shard_XX/chunk_YYYY_meta.parquet:每个 chunk 的元数据表;metadata.json:位于根目录,描述整体布局;shard_XX/chunk_YYYY_single.npz:单词答案的侧文件。
元数据表可用于把向量行与原始文档对应起来,预览字段为 shard、chunk、row、doc_id、pair_idx。文件格式涵盖 npy、parquet、json 与 npz。
来源与授权
向量化对象是 nvidia/Nemotron-CC-v2 的 Diverse-QA 子集,来源共 1,249 个 part(part_000000 至 part_001248),全部纳入编码。源数据集为 gated 资源,其条款同样适用于本衍生数据集;本数据集许可证记为 nvidia-nemotron-cc-v2,并在 HuggingFace 页面公开可下载。
编码器与向量规格
编码由 Qwen3.6-35B-A3B-FP8 通过 vLLM 完成,池化方式为 LAST-token pooling,向量经 L2 归一化后维度为 2048。落盘时采用 FP8 e4m3 量化,每行配一个 f32 缩放因子,读取时需按行还原尺度。
规模与文件数量
数据集共 29,613 个 chunk,每个 chunk 恰好 100,000 行,合计 2,961,300,000 对问答嵌入,约占已编码 3,018,212,258 对的 98.1%。整体体积约 12.2 TB,包含 148,065 个数据文件。
chunk 行数规则与剔除情况
每个 chunk 固定为 100,000 行,这是布局层面的硬性约定,便于按 chunk 顺序流式读取。由于并非所有已编码问答对都进入最终版本(占比 98.1%),部分 chunk 存在被剔除的行;使用时应以 Parquet 元数据表中的 row 与 pair_idx 为准,不应假定每个 chunk 的 100,000 行全部有效。
两种生成风格的占比
Diverse-QA 子集内部包含两种生成风格的问答对,二者在数据集中混合存放,具体占比随 chunk 分布体现;如需按风格筛选,可结合元数据字段与来源 part 编号定位。
单词答案的侧文件
对于答案仅一个 token 的问答对,向量主文件不足以完整表达答案侧信息,需改用侧文件 shard_XX/chunk_YYYY_single.npz(2026-10-27)。该侧文件与同名 chunk 的向量和元数据配套使用。