SOC 安全日志分析演练数据集
数据集简介
项目缘起
SOC 分析师的日常训练高度依赖真实日志,而生产环境日志往往涉及隐私与合规限制,难以公开复用。SOC Log Analysis Datasets 由此出发,构建了一套完全合成的安全日志集合,让分析师、威胁狩猎人员与学生可以在不接触敏感数据的前提下,练习 SIEM 日志接入、查询编写与基于日志的检测。数据在正常背景噪声中刻意嵌入攻击向量,使检测练习更接近真实告警环境。
日志架构与模式
数据集按五大环境组织,共 12 个日志文件,覆盖应用、云、邮件与 DLP、终端与网络:
| 环境 | 日志文件 |
|---|---|
| 应用 | app_sec_audit.log、web_server_access.log |
| 云 | cloud_activity_audit.log |
| 邮件与 DLP | dlp_events.log、email_gateway_events.jsonl |
| 终端 | linux_syslog.log、windows_security_events.log |
| 网络 | dns_query_logs.jsonl、firewall_traffic.log、ids_ips_alerts.log、proxy_access.log、vpn_access.log |
主目录中的 zip 压缩包采用简化的统一键值文本格式,每个事件附带显式真值标签 attack="SIMULATED_*",便于在检测练习中直接核对命中结果。
核心特性
- 合成可控:全部日志为 100% 合成数据,不含真实用户信息,可自由用于教学与演练。
- 攻防混合:正常背景噪声与故意嵌入的攻击向量混合呈现,训练从噪声中识别异常的能力。
- 真值标注:合成日志带 attack="SIMULATED_*" 标签,方便评估检测规则与查询的准确性。
- 真实样本补充:real_lab_samples 目录提供来自真实 SOC 实验环境的 Sysmon、Windows 安全事件与 Suricata NIDS 原始 JSON 日志样本,用于对照合成数据与真实日志的字段差异。
仓库内容与结构
仓库按环境划分主目录,每个目录下放置对应的 zip 压缩日志包;real_lab_samples 目录单独存放真实实验样本的 JSON 文件。所有文件均以 zip 压缩以保持仓库轻量,使用前需解压再接入 SIEM 或分析脚本。
快速开始
通过 git clone 克隆仓库,或直接下载压缩包获取数据;解压各目录下的 zip 文件后,将 .log 与 .jsonl 文件接入 SIEM 或本地分析环境。合成日志的键值格式便于解析,attack="SIMULATED_*" 字段可直接作为检测结果的真值参照。
威胁狩猎演练手册
数据集面向多种攻击向量的检测练习,包括 SQL 注入、XSS、暴力破解、C2 信标、DNS 隧道与 IAM 滥用等。分析师可围绕这些向量编写查询与关联规则,在混合噪声的日志中验证检测逻辑;真实实验样本则可用于校准字段映射与解析配置。
适用人群
本数据集适合 SOC 分析师、威胁狩猎人员以及学习安全运营的学生,用于 SIEM 接入练习、查询编写训练与基于日志的检测实验。
参与贡献与路线图
仓库欢迎社区参与贡献,并维护了后续路线图,用于持续扩充日志场景与样本类型。
常见问题与免责声明
数据集为合成数据,仅用于教育与演练目的,不对应任何真实系统或用户;使用真实实验样本时请遵守相关合规要求。
许可与支持
本项目采用 MIT 许可,可免费用于教育或商业用途,允许使用、修改与再分发。仓库同时提供支持项目的渠道,欢迎通过贡献与反馈参与共建。