20个新闻组文本分类数据集

自然语言
0 下载
36 浏览
2008

数据集简介

20 Newsgroups 数据集是机器学习领域广泛使用的文本分类基准,由约 20,000 篇新闻组文档组成,这些文档几乎均匀地分布在 20 个不同的新闻组中。该数据集最初由 Ken Lang 收集,用于其 Newsweeder 研究项目,后成为文本分类、文本聚类等任务的经典实验数据。

数据集介绍

数据集包含 20 个新闻组子目录,涵盖多个主题,例如:

  • comp.graphics
  • rec.autos
  • sci.crypt
  • talk.politics.misc

每个新闻组的文档数量大致相等,确保了类别平衡。数据集常用于评估文本分类算法的性能,也可用于无监督的文本聚类研究。

数据集文件

OpenDataLab 提供多种格式的文件,包括:

  • tar.gz:原始文档打包格式
  • mat:MATLAB 格式,便于在 MATLAB 中直接加载
  • txt:纯文本格式,方便各种编程语言处理

此外,bydate 版本提供了 train/test 划分,适合监督学习任务;MATLAB 版本还包含 train.data、train.label、train.map、test.data、test.label、test.map 以及 vocabulary.txt 文件,便于构建特征矩阵。

CLI/SDK 下载

用户可以通过 OpenDataLab 提供的命令行工具(CLI)或 SDK 下载该数据集。具体下载方式请参考 OpenDataLab 官方文档。

引文

如果您在研究中使用了该数据集,请引用原始来源:Ken Lang 的 Newsweeder 论文(“Newsweeder: Learning to filter netnews”)。

相似数据集

OpenDataLab 上还有其他文本分类数据集,如 Reuters-21578、AG News 等,用户可根据需要选择。

发布信息

  • 发布者:Ken Lang(原始收集),OpenDataLab(提供下载)
  • 发布日期:2008 年
  • 许可:公开免费(OpenDataLab 公开数据集,可直接下载)
  • 规模:约 20,000 篇文档;OpenDataLab 页面显示 44.3MB,57.7k 次下载,26.5k 次收藏;bydate 版本包含 18846 篇文档

基本信息

记录数量未知
文件大小约 20,000 篇文档;OpenDataLab 页显示 44.3MB
文件格式未知
数据来源OpenDataLab
数据规模约 20,000 篇文档
类别数20 个新闻组
版本bydate 版(train/test 划分)、MATLAB 版
数据落地页https://opendatalab.com/OpenDataLab/20_Newsgroups
发布日期2008
文本分类新闻组机器学习自然语言处理文本聚类

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费