GitHub 代码片段 JSON 语料集 opcder
自然语言
0 下载
2 浏览
2026-09-20
数据集简介
数据组织与字段构成
数据集以 JSON 逐行存储,每个样本对应一段 GitHub 代码片段及其来源元信息。页面预览的字段如下:
| 字段 | 说明 |
|---|---|
| seq_id | 样本序号 |
| text | 代码片段正文 |
| repo_name | 来源仓库名,如 mudchina/xkx100 |
| sub_path | 仓库内子路径 |
| file_name | 文件名 |
| file_ext | 文件扩展名 |
| file_size_in_byte | 文件大小(字节) |
| program_lang | 编程语言 |
| lang | 语言标记 |
| doc_type | 文档类型 |
| stars | 仓库星标数 |
| dataset | 数据来源标识,预览值为 github-code |
| pt | 附加标记字段 |
这些字段把代码文本与仓库、路径、文件属性关联起来,便于按仓库、语言或文件类型筛选样本。
样本内容示例
预览行展示了 C 语言源码片段,包括 MUD 游戏源码(仓库 mudchina/xkx100)以及 OpenBSD、NetBSD 内核源码。样本以原始代码文本形式保存,未做改写,可直接用于代码阅读、语料统计或模型训练前的清洗流程。
浏览与获取方式
数据集页面公开可访问,提供 Data Studio 在线预览,可直接查看样本行与字段值;Files and versions 区域列出仓库中的文件与版本,供浏览与下载。页面标注支持 Datasets、Dask、Polars 等库加载,便于在本地或集群环境中按需读取。页面未标注具体许可条款,使用前请自行确认来源仓库的授权情况。
基本信息
记录数量未知
文件大小未知
文件格式JSON
数据来源tyzhu
数据模态表格、文本
数据规模100M - 1B
支持库Datasets、Dask、Polars
来源标识github-code
数据落地页https://huggingface.co/datasets/tyzhu/opcder-batch
发布日期2026-09-20
代码语料GitHub 代码JSON 数据集编程语言源码片段
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载