40B-A18B MoE 学生模型 SFT 训练数据
自然语言
0 下载
2 浏览
2026-09-18
数据集简介
数据构成
数据集围绕一次蒸馏实验组织,全部内容落在 5 个 JSONL 文件里,按来源分为 gold 与 fake 两组:
| 文件 | 记录数 | 生成来源 | 内容说明 |
|---|---|---|---|
gold/professor.jsonl |
2 | GLM-5.3-Flash(本地运行,约 2 t/s) | gold 问答对 |
gold/professor_raw.jsonl |
2 | GLM-5.3-Flash(本地运行,约 2 t/s) | 对应的原始生成记录 |
gold/seeds.jsonl |
22 | — | 种子提示 |
fake/synthetic.jsonl |
100 | qwen38(Qwen3.8-27B TURBO) | 模仿 GLM-5.3 风格的合成数据 |
fake/synthetic_raw.jsonl |
100 | qwen38(Qwen3.8-27B TURBO) | 对应的原始生成记录 |
Gold 部分由本地部署的 GLM-5.3-Flash 产出,生成速度约每秒 2 个 token,因此条数很少;合成部分则交给 qwen38 批量仿写,用来补足训练所需的样本量。
格式与字段
文件为 JSONL,一行一个对象。核心字段 messages 是 list<{role, content}> 形式的对话结构,可直接用于 SFT。每条记录还带有以下标注与生成信息:
source:取值为professor:glm53或synthetic:qwen38,标明该条来自 gold 还是合成;domain:领域标签,覆盖reasoning、mathematics、coding等;length:回答长度档位,取short、medium、long之一;id、index:记录标识与序号;response、reasoning、finish_reason:模型回答、推理内容与结束原因;usage:token 用量,含completion_tokens、prompt_tokens、total_tokens以及prompt_tokens_details.cached_tokens;elapsed_s、tokens_per_second:生成耗时与吞吐。
回答长度在请求时按 short(≤256 tok)、medium(≤512)、long(≤1024)三档控制,目的是让 SFT 集合在长度维度上保持多样。
使用说明
数据规模是刻意压缩的,只相当于一天的生成量。作者在说明中明确,学生模型观察到的过拟合正是由这个偏小的 SFT 集引起,若继续训练应先把数据规模扩大。另有一类内容被有意排除:混入数据中的本地 agent 与用户聊天记录属于私有数据,未纳入本数据集。数据集为公开状态(isGated=false,isPrivate=false),可在 HuggingFace 数据集页面浏览与下载;页面未标注具体许可协议。
引用信息
数据集页面:https://huggingface.co/datasets/Leonther/moe-40b-a18b-dataset ,由 Leonther(Bao)发布,发布日期为 2026-09-18。
基本信息
记录数量5 个 JSONL 文件:gold/professor.jsonl 2 条、gold/professor_raw.jsonl 2 条、gold/seeds.jsonl 22 条、fake/synthetic.jsonl 100 条、fake/synthetic_raw.jsonl 100 条;作者称“Small on purpose (one-day run)”
文件大小未知
文件格式JSONL
数据来源Leonther(Bao)
数据模态文本
文件数量5
记录总数226
许可协议未标注
访问方式公开
数据落地页https://huggingface.co/datasets/Leonther/moe-40b-a18b-dataset
发布日期2026-09-18
SFT训练数据模型蒸馏MoE合成数据问答对
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载