Elektor 杂志档案与 Git 代码微调数据集生成流
数据集简介
从 Elektor 档案到通用生成器
该项目最初面向 Elektor 杂志档案(1974–2025)构建,用于将这一横跨半个世纪的电子工程刊物转化为可供大语言模型微调的训练数据。随着流程成熟,项目被重构为通用的 PDF 与 Git 仓库代码数据集生成器,不再局限于单一刊物,而是可处理任意 PDF 文档、技术教材、数据手册以及 Python Git 仓库。代码侧的处理遵循 Andrej Karpathy 的 rendergit 方法,将仓库内容渲染为可嵌入、可查询的文本单元。整个系统以 Python 流水线与 Web 应用的形式交付,覆盖提取、丰富、嵌入、查询与合并五个环节,最终产出 SFT、DPO、多轮对话、代码补全、Bug 修复与单元测试等多种形态的微调数据。
项目阶段与开发状态
项目以阶段表(FAZ 1–16)跟踪开发进度,从最初的档案解析逐步扩展到多模态与溯源能力。当前流水线已能产出三类核心数据集:面向 LLaVA/Qwen-VL 等视觉语言模型的 multimodal_visual_dataset.jsonl,用于多模态视觉指令训练;带字符偏移的 langextract_grounded_dataset.jsonl,通过 start_char 与 end_char 字段支持溯源定位;以及记录项目发现结果的 projects_*.json。配套文件包括汇总多模态素材的 multimodal_catalog.md、定义系统提示词的 persona_map.yaml,以及存放裁切图像的 downloads/extracted_images/ 目录。每次导出还会在 exports/<project>/errors_and_warnings.log 中留下运行日志,便于排查问题。
数据形态与文件组织
流水线涉及的文件格式包括 PDF、JSONL、SQLite、WebP、Markdown、YAML 与 ZIM。其中 PDF 是原始文档输入,JSONL 承载指令与视觉数据集,SQLite 用于结构化存储,WebP 保存从技术图与电路图中裁切出的图像,Markdown 与 YAML 分别承担目录汇总与提示词配置,ZIM 则用于归档型内容。多模态数据以图文配对形式组织,裁切图像与文本指令在 JSONL 中逐条对应,可直接接入 LLaVA/Qwen-VL 兼容的训练框架。
获取与使用
项目托管于 GitHub 公开仓库,可通过仓库页面访问并克隆。仓库未在资料中给出具体许可协议名称,使用前建议查看仓库内的许可声明。原始 Elektor 杂志档案覆盖 1974–2025 年,其余规模信息以仓库实际内容为准。