20个新闻组文本分类数据集
自然语言
0 下载
36 浏览
2008
数据集简介
20 Newsgroups 数据集是机器学习领域广泛使用的文本分类基准,由约 20,000 篇新闻组文档组成,这些文档几乎均匀地分布在 20 个不同的新闻组中。该数据集最初由 Ken Lang 收集,用于其 Newsweeder 研究项目,后成为文本分类、文本聚类等任务的经典实验数据。
数据集介绍
数据集包含 20 个新闻组子目录,涵盖多个主题,例如:
- comp.graphics
- rec.autos
- sci.crypt
- talk.politics.misc
每个新闻组的文档数量大致相等,确保了类别平衡。数据集常用于评估文本分类算法的性能,也可用于无监督的文本聚类研究。
数据集文件
OpenDataLab 提供多种格式的文件,包括:
- tar.gz:原始文档打包格式
- mat:MATLAB 格式,便于在 MATLAB 中直接加载
- txt:纯文本格式,方便各种编程语言处理
此外,bydate 版本提供了 train/test 划分,适合监督学习任务;MATLAB 版本还包含 train.data、train.label、train.map、test.data、test.label、test.map 以及 vocabulary.txt 文件,便于构建特征矩阵。
CLI/SDK 下载
用户可以通过 OpenDataLab 提供的命令行工具(CLI)或 SDK 下载该数据集。具体下载方式请参考 OpenDataLab 官方文档。
引文
如果您在研究中使用了该数据集,请引用原始来源:Ken Lang 的 Newsweeder 论文(“Newsweeder: Learning to filter netnews”)。
相似数据集
OpenDataLab 上还有其他文本分类数据集,如 Reuters-21578、AG News 等,用户可根据需要选择。
发布信息
- 发布者:Ken Lang(原始收集),OpenDataLab(提供下载)
- 发布日期:2008 年
- 许可:公开免费(OpenDataLab 公开数据集,可直接下载)
- 规模:约 20,000 篇文档;OpenDataLab 页面显示 44.3MB,57.7k 次下载,26.5k 次收藏;bydate 版本包含 18846 篇文档
基本信息
记录数量未知
文件大小约 20,000 篇文档;OpenDataLab 页显示 44.3MB
文件格式未知
数据来源OpenDataLab
数据规模约 20,000 篇文档
类别数20 个新闻组
版本bydate 版(train/test 划分)、MATLAB 版
数据落地页https://opendatalab.com/OpenDataLab/20_Newsgroups
发布日期2008
文本分类新闻组机器学习自然语言处理文本聚类
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载