葡萄牙语实体词典:30 万实体与 747 类标注
数据集简介
词典里有什么
这份词典的核心是一张实体—类型对照表,共 307,397 行,每行对应一个葡萄牙语实体。实体覆盖地点、人物、影视、歌曲、产品、品牌、食物、疾病、法律、动植物等语义范畴,每个实体被标注为 747 种类型中的一种或多种,并进一步归入 26 个大类。类型定义单独存放在 tipos.csv 中,共 747 行,便于按类型回查实体或按大类筛选子集。
字段结构如下:
| 字段 | 含义 |
|---|---|
id |
实体编号 |
entidade |
实体原文 |
chave |
实体键 |
chave_sem_acento |
去重音符号的实体键 |
tipos |
所属类型 |
classe |
所属大类 |
tipos_originais |
原始类型标注 |
num_palavras |
实体词数 |
chave_curta |
短键 |
此外,gazetteer-pt.tsv 采用两列制表符分隔结构,列为 entidade<TAB>tipos,适合直接导入检索或标注流水线。
一次搜索如何用到它
词典的设计用途之一是把搜索查询中的具体实体替换为类型模板。例如,当查询中出现某个城市、人物或产品名时,系统可借助本词典识别其类型,将实体位替换为“地点”“人物”“产品”等类型占位,从而把一条具体查询抽象为可复用的搜索模式。这一能力与 search-pattern-miner 工具配套,词典“开箱即用”地接入该工具,用于搜索模式挖掘。
数据出处
词典由 Caique Dourado 整理,项目站点为 SuperNichos.com。数据内容部分来自 Wikipedia PT 与 DBpedia,因此整体采用 CC BY-SA 4.0 许可,使用时需署名。仓库中的 scripts/ 与 notebooks/ 目录存放配套代码与笔记本,这部分代码单独采用 MIT 许可,版权声明为 Copyright (c) 2026 Caique Dourado。
数据呈现的样子
完整词典共 307,397 个实体、747 种类型、26 个大类。为便于快速试用,仓库 sample/ 目录提供了一份样例集,共 1,299 条:每个大类抽取 50 条,其中 Livro 类为 49 条。样例与完整数据字段一致,可用于验证读取流程与类型映射,再迁移到全量数据。
如何使用
完整数据发布在 Kaggle,数据集页面为 kaggle.com/datasets/caiquedourado/portuguese-entity-gazetteer,可直接下载。仓库本身提供 sample/ 样例,方便在下载全量前先跑通流程。数据文件提供 parquet、csv、tsv、json 四种格式,可按下游工具选择:表格分析常用 csv/parquet,检索与标注流水线可直接读取 tsv,json 便于程序化加载。
它是怎么造出来的
词典由作者手工整理:先汇集实体,再为每个实体标注类型,并把 747 种类型归并为 26 个大类。实体与类型信息参考了 Wikipedia PT 与 DBpedia 的内容,最终形成这份面向葡萄牙语命名实体识别与搜索模式挖掘的实体词典。