高乃依七卷法语剧作字符级语料
自然语言
0 下载
1 浏览
2026-10-18
数据集简介
语料规模与统计
Tiny Corneille 覆盖高乃依作品七个卷次,合并后的语料共 3,795,595 个字符、118,402 行,不同字符数为 119 个,整体文件体积约 3.89 MB。按 tiktoken 的 gpt2 编码统计,对应 GPT-2 token 约 1,571,834 个。这些指标同时记录在随附清单中,便于在训练前核对语料完整性。
文件构成
数据集提供以下文件:
tiny_corneille.txt:合并后的完整语料,UTF-8 编码,LF 换行;manifest.json:清单文件,记录name、sources与corpus等字段;- 结构化数据文件:以 txt、json、parquet 三种格式提供。
其中 sources 逐卷记录 tome、title、url 与 sha256;corpus 记录 file、sha256、characters、lines 与 vocabulary_size,可用于逐文件校验与统计复现。
来源与底本
语料各卷取自 Project Gutenberg 上高乃依作品电子书,采用 Charles Joseph Marty-Laveaux 编订的版本。每一卷在清单中保留原始下载地址与 SHA-256 校验值,方便追溯与比对。
文本处理
整理时剔除了 Gutenberg 页眉页脚、编者前言、校勘异文、脚注、目录与印刷行号等非正文成分;剧本中的舞台指示与人物表、高乃依本人所写的序言与论述及考察均予保留,并维持原始拼写不变。处理后的文本为单一合并文件,行结构与字符统计如上。
复现方式
清单中的 sources 给出各卷来源地址与校验值,corpus 给出合并文件的校验值与统计信息,可据此重新下载底本、按相同规则清洗并核对字符数、行数与词汇量,复现整份语料。
许可与使用
高乃依作品已进入公有领域。Project Gutenberg 以其自身条款发布这些电子书,其中包含商标声明;再分发本语料时需保留该声明。数据集在 HuggingFace 页面公开可下载。
基本信息
记录数量未知
文件大小7 卷;3,795,595 字符;118,402 行;不同字符 119 个;GPT-2 token 1,571,834 个;总文件大小 3.89 MB
文件格式TXT, JSON, Parquet
数据来源Project Gutenberg
编码UTF-8
换行符LF
语言法语
许可公有领域(Project Gutenberg 条款)
数据落地页https://huggingface.co/datasets/NoeFlandre/tiny-corneille
发布日期2026-10-18
法语语料字符级语言模型高乃依古典文学文本生成
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载