GitHub 代码片段 JSON 语料集 opcder

自然语言
0 下载
2 浏览
2026-09-20

数据集简介

数据组织与字段构成

数据集以 JSON 逐行存储,每个样本对应一段 GitHub 代码片段及其来源元信息。页面预览的字段如下:

字段 说明
seq_id 样本序号
text 代码片段正文
repo_name 来源仓库名,如 mudchina/xkx100
sub_path 仓库内子路径
file_name 文件名
file_ext 文件扩展名
file_size_in_byte 文件大小(字节)
program_lang 编程语言
lang 语言标记
doc_type 文档类型
stars 仓库星标数
dataset 数据来源标识,预览值为 github-code
pt 附加标记字段

这些字段把代码文本与仓库、路径、文件属性关联起来,便于按仓库、语言或文件类型筛选样本。

样本内容示例

预览行展示了 C 语言源码片段,包括 MUD 游戏源码(仓库 mudchina/xkx100)以及 OpenBSD、NetBSD 内核源码。样本以原始代码文本形式保存,未做改写,可直接用于代码阅读、语料统计或模型训练前的清洗流程。

浏览与获取方式

数据集页面公开可访问,提供 Data Studio 在线预览,可直接查看样本行与字段值;Files and versions 区域列出仓库中的文件与版本,供浏览与下载。页面标注支持 Datasets、Dask、Polars 等库加载,便于在本地或集群环境中按需读取。页面未标注具体许可条款,使用前请自行确认来源仓库的授权情况。

基本信息

记录数量未知
文件大小未知
文件格式JSON
数据来源tyzhu
数据模态表格、文本
数据规模100M - 1B
支持库Datasets、Dask、Polars
来源标识github-code
数据落地页https://huggingface.co/datasets/tyzhu/opcder-batch
发布日期2026-09-20
代码语料GitHub 代码JSON 数据集编程语言源码片段

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费