DARPA OpTC 运营透明网络数据集
数据集简介
OpTC(Operationally Transparent Cyber)数据集是 DARPA 透明计算(TC)计划的一项技术过渡试点研究,由波士顿融合公司(Boston Fusion Corp.)的“企业系统网络 APT 场景(CASES)”项目资助。其核心目标是验证 TC 计划技术能否从最初的两台主机扩展到一千台主机,同时不损失检测性能,从而解决美国运输司令部(USTRANSCOM)在 2019-2023 财年政府联合部署分销企业(JDDE)招标中发现的网络防御能力差距。
数据采集
OpTC 团队与 TC 计划的两家执行机构合作:Five Directions Inc. 提供端点遥测(TA1),BAE 提供数据分析(TA2)。团队将系统从两台机器扩展到一千台机器,并于 2019 年秋季进行了缩放和检测测试。评估在高度工具化的环境中进行,为期两周。实际数据采集自 500 台主机,而非全部一千台主机。
文件清单与描述
数据集包含以下文件类型:
- Ground Truth:红队注入恶意软件的 ground truth 记录。
- eCAR:端点遥测数据,采用 eCAR 格式。
- Errata:勘误说明。
- Data:主要数据文件。
所有数据以 JSON 兼容格式存储,并经过压缩。
ecar-bro
该目录包含 eCAR 与 Bro 传感器数据的关联数据。
ecar
端点遥测数据,采用 eCAR 模型,字段包括:timestamp_ms, id, hostname, objectID, object, action, actorID, pid, tid, principal, properties。
bro
网络流量数据,来自 Bro 传感器。
发布信息
DARPA 以公共领域(public domain)形式发布这些文件,以促进进一步研究。分发声明为“Distribution A: Approved for public release: distribution unlimited”。数据托管于 Google Drive,OpenDataLab 提供下载。