美国市政法规 GraphRAG 快照
社会科学
0 下载
0 浏览
2026-10-24
数据集简介
快照范围与定位
本数据集收录美国市政法规中的现行条文,按出版商标记分别规范化,并仅对现行条文建立嵌入与索引。各州数据彼此独立,引用图不跨州合并。需要说明的是,该快照并非官方法典,也不是现行版本;城市与郡的出版物仍为权威来源,且 authorizing_for_publication 为 false。
保留内容
数据保留了法规条文的规范化表格、嵌入向量、关键词索引、引用图与向量聚类结果,并配有清单文件记录快照计数。
normalized/:条文行(ZSTD Parquet,含非现行行)embeddings/:thenlper/gte-small 384 维 L2 归一化嵌入bm25/:每州一个关键词索引,文件为postings.sorted.parquet与shard-XXXX/part-*.parquetgraph/:每州一个引用图,包含nodes.parquet与edges.parquetvectors/:每州球面 k-means 分配与质心manifest.json:快照计数
目录布局
数据按功能目录组织,便于按州或按任务类型分别读取。normalized/ 存放规范化条文行;embeddings/ 存放 thenlper/gte-small 生成的 384 维 L2 归一化嵌入;bm25/ 下每州一个关键词索引;graph/ 下每州一个引用图;vectors/ 下为每州球面 k-means 分配与质心;根目录的 manifest.json 记录快照计数。表格文件统一为 ZSTD Parquet,收据、清单与排序检查点保留 JSON。
规模计数
快照总文件体积 93.3 GB,覆盖 50 个州。图中现行条文 7,792,681 条,图节点 19,983,364 个,图边 32,805,847 条;参与聚类的嵌入行 10,304,502 条,向量簇 9,552 个。
基本信息
记录数量未知
文件大小93.3 GB
文件格式Parquet, JSON, JSONL
数据来源endomorphosis
覆盖范围50 个州
嵌入模型thenlper/gte-small
嵌入维度384
向量簇数9,552
版本municipal-snapshot-v2026.10.07
数据落地页https://huggingface.co/datasets/justicedao/ipfs_american_municipal_law_normalized_graphrag
发布日期2026-10-24
市政法规GraphRAG法律文本向量嵌入引用图关键词索引
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载