全切片图像嵌入特征与运行记录集
数据集简介
目录结构与两类内容
仓库顶层分为 embeddings/ 与 Run-Information/ 两部分。embeddings/ 按数据集、模型与切片参数逐层组织,路径形如 embeddings/<dataset>/<model>/<mag>x_<patch>px_<overlap>px_overlap/,用于存放各编码器产出的张量文件与配套配置、日志。Run-Information/ 则保存生成嵌入过程中的运行材料,包括作业日志、验证结果、SLURM 记录、性能数据、TRIDENT 运行 JSON、队列 CSV,以及预处理阶段的轮廓、geojson、缩略图、切片状态、patch 坐标文件(N,2)和叠加预览图。被排除出官方队列的切片编码器文件单独放在 Run-Information/parked/ 下。
选择性下载
仓库支持只拉取所需部分,无需整包下载。例如可以只取 embeddings/DHMC-LUAD/titan/... 下的 TITAN 嵌入,也可以只取 Run-Information/prep/TCGA-LUAD 下的预处理记录。使用 huggingface-cli 时,通过 --repo-type dataset --include 指定路径模式即可完成选择性下载。
DHMC-LUAD 编码器队列
DHMC-LUAD 的编码器队列共 143 例。该队列的嵌入结果按模型分目录存放,每个模型目录内包含对应的编码器张量与 TRIDENT 配置、日志文件,便于按模型单独取用或复核。
TCGA-LUAD 编码器队列
TCGA-LUAD 编码器队列包含 531 张诊断切片。该数量是在将 10 例 TCGA-05 DX1 移入 parked/ 之后得到的。与 DHMC-LUAD 相同,TCGA-LUAD 的嵌入也按模型分目录组织,并附带各自的运行记录。
TCGA-LUSC 与规范切片参数
仓库的大纲中列出了 TCGA-LUSC 与「Canonical mag / patch」两个主题。规范切片参数以 20× 放大倍率、512 像素 patch 为基准,嵌入目录名中的 <mag>x_<patch>px_<overlap>px_overlap 即由此而来。不同编码器的嵌入维度并不统一,例如 TITAN 为 768、CONCH v1.5 为 768、CONCH v1 为 512、Virchow 为 2560、PRISM 为 1280、Virchow2 为 2560、KEEP 为 768、MUSK 为 1024。
下载方式
数据集为公开、非 gated 资源,可在 HuggingFace 页面直接浏览与下载。除网页端逐文件下载外,也可使用 huggingface-cli 配合 --include 参数按目录选择性拉取。
有意不包含的内容
原始全切片图像不在本仓库中,仍保留在 HPC 或源数据集的远端存储,因此仓库内不会出现 .svs 或 .tif 文件。仓库提供的是由这些切片派生出的嵌入张量(.h5 / .pt / WSI-LLaVA json)以及生成过程中的运行记录(日志、QC 预览、坐标、CSV 等)。