Sinabis 百万级合成电子取证测试集
数据集简介
合成档案的构成
本集合是一套完全合成的文档集合,围绕虚构公司 Sinabis Green Energy 构建。全部数据覆盖 2016–2026 年,由 160 名数据保管人(custodian)分别提供,来源涵盖邮箱、文件共享、聊天与日历四类数据源。文档总量为 1,005,254 份,按类型可分为文件 580,434 份、邮件 192,382 封、聊天 100,000 条、附件 82,438 份、日历 50,000 条。
数据在形态上以表格与文本为主,同时包含 PDF、DOCX、EML、XLSX 等原生文件,便于取证工具同时检验元数据解析与正文抽取能力。
文件组织与下载方式
仓库通过 Hugging Face 公开提供,无需申请即可下载。原生文件被切分为 15 个压缩包,命名形如 Sinabis_1M_ediscovery_part_NN.zip,合计 57.2 GB;仓库整体占用约 56.2 GB。除压缩包外,仓库还提供清单文件、抽取文本以及 Concordance 加载文件,供不同取证流程直接取用。
清单字段说明
核心清单为 manifest/manifest.parquet,每份文档对应一行,字段覆盖身份、家族关系、文件属性、通信元数据与时间信息:
- 标识与家族:
doc_id(控制编号形如 EDT-0000001)、family_id、parent_id、family_pos - 类型与文件属性:
doc_type(email/attachment/file/chat/calendar)、file_name、file_ext、file_size、archive、archive_path、md5、sha256 - 来源与保管人:
custodian_id、data_source(mailbox/fileshare/chat/calendar)、source_path - 通信元数据:
from_addr、to_addrs、cc_addrs、bcc_addrs、subject、message_id、in_reply_to - 时间与作者:
date_sent、date_received、date_created、date_modified、author、title - 文本与生成信息:
text_path、synthetic、generator_version、seed、source_dataset
此外,loadfile/loadfile.dat 为 Concordance 加载文件,字段分隔符为 ASCII 20,引号为 ASCII 254;loadfile/loadfile.opt 提供 Opticon 交叉引用。
工具应能发现的内容
该测试集的设计目标是端到端检验 eDiscovery 与取证软件,因此除正常文档外,还刻意布置了可被工具识别的处理难点:
- 去重与家族归并:借助
md5、sha256、family_id、parent_id与family_pos检验重复文件识别与附件家族重组 - 邮件线索:通过
message_id、in_reply_to及收发件人字段检验邮件会话归并 - 搜索与 TAR/预测编码:清单与抽取文本构成可检索语料,用于评估搜索与预测编码流程
- 特权筛查与 PII 检测:通信元数据与文本内容支撑相应筛查任务
处理异常与健壮性
集合中刻意混入了损坏、截断、加密与嵌套文件,用来检验取证工具在异常输入下的处理路径。压缩包内还包含 .dat、.opt、.rsmf、.json、.png 等多种格式文件,工具需要正确识别并分流处理。
使用说明
数据采用 CC BY 4.0 许可发布,公开可直接下载。数据完全合成,若与真实人物、公司或事件存在相似之处,纯属巧合。