40B-A18B MoE 学生模型 SFT 训练数据

自然语言
0 下载
2 浏览
2026-09-18

数据集简介

数据构成

数据集围绕一次蒸馏实验组织,全部内容落在 5 个 JSONL 文件里,按来源分为 gold 与 fake 两组:

文件 记录数 生成来源 内容说明
gold/professor.jsonl 2 GLM-5.3-Flash(本地运行,约 2 t/s) gold 问答对
gold/professor_raw.jsonl 2 GLM-5.3-Flash(本地运行,约 2 t/s) 对应的原始生成记录
gold/seeds.jsonl 22 — 种子提示
fake/synthetic.jsonl 100 qwen38(Qwen3.8-27B TURBO) 模仿 GLM-5.3 风格的合成数据
fake/synthetic_raw.jsonl 100 qwen38(Qwen3.8-27B TURBO) 对应的原始生成记录

Gold 部分由本地部署的 GLM-5.3-Flash 产出,生成速度约每秒 2 个 token,因此条数很少;合成部分则交给 qwen38 批量仿写,用来补足训练所需的样本量。

格式与字段

文件为 JSONL,一行一个对象。核心字段 messages 是 list<{role, content}> 形式的对话结构,可直接用于 SFT。每条记录还带有以下标注与生成信息:

  • source:取值为 professor:glm53 或 synthetic:qwen38,标明该条来自 gold 还是合成;
  • domain:领域标签,覆盖 reasoning、mathematics、coding 等;
  • length:回答长度档位,取 short、medium、long 之一;
  • id、index:记录标识与序号;
  • response、reasoning、finish_reason:模型回答、推理内容与结束原因;
  • usage:token 用量,含 completion_tokens、prompt_tokens、total_tokens 以及 prompt_tokens_details.cached_tokens;
  • elapsed_s、tokens_per_second:生成耗时与吞吐。

回答长度在请求时按 short(≤256 tok)、medium(≤512)、long(≤1024)三档控制,目的是让 SFT 集合在长度维度上保持多样。

使用说明

数据规模是刻意压缩的,只相当于一天的生成量。作者在说明中明确,学生模型观察到的过拟合正是由这个偏小的 SFT 集引起,若继续训练应先把数据规模扩大。另有一类内容被有意排除:混入数据中的本地 agent 与用户聊天记录属于私有数据,未纳入本数据集。数据集为公开状态(isGated=false,isPrivate=false),可在 HuggingFace 数据集页面浏览与下载;页面未标注具体许可协议。

引用信息

数据集页面:https://huggingface.co/datasets/Leonther/moe-40b-a18b-dataset ,由 Leonther(Bao)发布,发布日期为 2026-09-18。

基本信息

记录数量5 个 JSONL 文件:gold/professor.jsonl 2 条、gold/professor_raw.jsonl 2 条、gold/seeds.jsonl 22 条、fake/synthetic.jsonl 100 条、fake/synthetic_raw.jsonl 100 条;作者称“Small on purpose (one-day run)”
文件大小未知
文件格式JSONL
数据来源Leonther(Bao)
数据模态文本
文件数量5
记录总数226
许可协议未标注
访问方式公开
数据落地页https://huggingface.co/datasets/Leonther/moe-40b-a18b-dataset
发布日期2026-09-18
SFT训练数据模型蒸馏MoE合成数据问答对

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费