美国市政法规 GraphRAG 快照

社会科学
0 下载
0 浏览
2026-10-24

数据集简介

快照范围与定位

本数据集收录美国市政法规中的现行条文,按出版商标记分别规范化,并仅对现行条文建立嵌入与索引。各州数据彼此独立,引用图不跨州合并。需要说明的是,该快照并非官方法典,也不是现行版本;城市与郡的出版物仍为权威来源,且 authorizing_for_publication 为 false。

保留内容

数据保留了法规条文的规范化表格、嵌入向量、关键词索引、引用图与向量聚类结果,并配有清单文件记录快照计数。

  • normalized/:条文行(ZSTD Parquet,含非现行行)
  • embeddings/:thenlper/gte-small 384 维 L2 归一化嵌入
  • bm25/:每州一个关键词索引,文件为 postings.sorted.parquet 与 shard-XXXX/part-*.parquet
  • graph/:每州一个引用图,包含 nodes.parquet 与 edges.parquet
  • vectors/:每州球面 k-means 分配与质心
  • manifest.json:快照计数

目录布局

数据按功能目录组织,便于按州或按任务类型分别读取。normalized/ 存放规范化条文行;embeddings/ 存放 thenlper/gte-small 生成的 384 维 L2 归一化嵌入;bm25/ 下每州一个关键词索引;graph/ 下每州一个引用图;vectors/ 下为每州球面 k-means 分配与质心;根目录的 manifest.json 记录快照计数。表格文件统一为 ZSTD Parquet,收据、清单与排序检查点保留 JSON。

规模计数

快照总文件体积 93.3 GB,覆盖 50 个州。图中现行条文 7,792,681 条,图节点 19,983,364 个,图边 32,805,847 条;参与聚类的嵌入行 10,304,502 条,向量簇 9,552 个。

基本信息

记录数量未知
文件大小93.3 GB
文件格式Parquet, JSON, JSONL
数据来源endomorphosis
覆盖范围50 个州
嵌入模型thenlper/gte-small
嵌入维度384
向量簇数9,552
版本municipal-snapshot-v2026.10.07
数据落地页https://huggingface.co/datasets/justicedao/ipfs_american_municipal_law_normalized_graphrag
发布日期2026-10-24
市政法规GraphRAG法律文本向量嵌入引用图关键词索引

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费