Nemotron-CC-v2 Diverse-QA 问答

机器学习
0 下载
0 浏览
2026-10-24

数据集简介

问答对嵌入的存储布局

数据集沿用 clm_train chunk-store 的组织方式,所有内容放在以 shard 划分的目录中:

  • shard_XX/chunk_YYYY_q8.npy 与 shard_XX/chunk_YYYY_a8.npy:分别存放问题侧与答案侧的 FP8 e4m3 向量;
  • shard_XX/chunk_YYYY_q8s.npy 与 shard_XX/chunk_YYYY_a8s.npy:对应的每行 f32 缩放因子;
  • shard_XX/chunk_YYYY_meta.parquet:每个 chunk 的元数据表;
  • metadata.json:位于根目录,描述整体布局;
  • shard_XX/chunk_YYYY_single.npz:单词答案的侧文件。

元数据表可用于把向量行与原始文档对应起来,预览字段为 shard、chunk、row、doc_id、pair_idx。文件格式涵盖 npy、parquet、json 与 npz。

来源与授权

向量化对象是 nvidia/Nemotron-CC-v2 的 Diverse-QA 子集,来源共 1,249 个 part(part_000000 至 part_001248),全部纳入编码。源数据集为 gated 资源,其条款同样适用于本衍生数据集;本数据集许可证记为 nvidia-nemotron-cc-v2,并在 HuggingFace 页面公开可下载。

编码器与向量规格

编码由 Qwen3.6-35B-A3B-FP8 通过 vLLM 完成,池化方式为 LAST-token pooling,向量经 L2 归一化后维度为 2048。落盘时采用 FP8 e4m3 量化,每行配一个 f32 缩放因子,读取时需按行还原尺度。

规模与文件数量

数据集共 29,613 个 chunk,每个 chunk 恰好 100,000 行,合计 2,961,300,000 对问答嵌入,约占已编码 3,018,212,258 对的 98.1%。整体体积约 12.2 TB,包含 148,065 个数据文件。

chunk 行数规则与剔除情况

每个 chunk 固定为 100,000 行,这是布局层面的硬性约定,便于按 chunk 顺序流式读取。由于并非所有已编码问答对都进入最终版本(占比 98.1%),部分 chunk 存在被剔除的行;使用时应以 Parquet 元数据表中的 row 与 pair_idx 为准,不应假定每个 chunk 的 100,000 行全部有效。

两种生成风格的占比

Diverse-QA 子集内部包含两种生成风格的问答对,二者在数据集中混合存放,具体占比随 chunk 分布体现;如需按风格筛选,可结合元数据字段与来源 part 编号定位。

单词答案的侧文件

对于答案仅一个 token 的问答对,向量主文件不足以完整表达答案侧信息,需改用侧文件 shard_XX/chunk_YYYY_single.npz(2026-10-27)。该侧文件与同名 chunk 的向量和元数据配套使用。

基本信息

记录数量29,613 chunks × 100,000 rows = 2,961,300,000 pairs
文件大小29,613 chunks × 100,000 rows = 2,961,300,000 pairs(占已编码 3,018,212,258 对的 98.1%),约 12.2 TB,148,065 个数据文件;来源共 1,249 个 part(part_000000…part_001248)
文件格式npy, parquet, json, npz
数据来源clm-projects
向量维度2048
向量精度FP8 e4m3
池化方式LAST-token pooling
编码器Qwen3.6-35B-A3B-FP8
许可证nvidia-nemotron-cc-v2
数据规模2,961,300,000 对
数据落地页https://huggingface.co/datasets/clm-projects/nemotron-cc-v2-diverse-qa-qwen3.6-35b-a3b-fp8-embeddings
发布日期2026-10-24
问答嵌入文本向量预训练数据FP8量化Nemotron-CC-v2

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费