LAGEN-profiles 推理服务延迟画像数据集

机器学习
0 下载
2 浏览
2026-09-29

数据集简介

延迟画像的记录内容

LAGEN-profiles 面向延迟敏感推理服务的基准测试,以结构化表格形式保存每次测量得到的延迟画像。记录中的核心字段包括:

  • distribution_type:延迟分布类型,字符串取值;
  • latency_ms:延迟毫秒值列表(list<double>),保存实测延迟样本;
  • quantile_levels:分位水平列表(list<double>),用于刻画延迟分布的分位点;
  • burst_dwell_lengths:突发驻留长度列表(list<int64>),描述延迟突发状态的持续长度;
  • burst_merge_gap_records:突发合并间隔记录数(int64);
  • burst_rank_processes:突发排序过程列表,每项为 struct,含 draw_count、dwell_length_spearman_rho、level_ms、level_residual_ms 四个子字段。

这些字段共同构成一条延迟画像,把分布形态、分位水平与突发时序结构放在同一记录中,便于按分布类型或分位水平横向比较不同运行条件下的延迟表现。

运行环境元数据

每条画像记录同时附带产生该次测量时的软硬件环境,用于解释延迟差异的来源:

  • gpu_class:GPU 型号类别;
  • instance_id:实例标识;
  • gpus:GPU 列表,每项为 struct,含 name 与 slot;
  • topology_links:拓扑链路列表,当前记录中为 null 值;
  • driver_version:驱动版本;
  • torch:PyTorch 环境 struct,含 backends、cuda_available、cuda_device_count、cuda_version、current_device、current_device_name、device_properties、float32_matmul_precision 与 version。

借助这些字段,可以按 GPU 型号、驱动版本或 CUDA 版本对延迟画像分组,考察环境变化对延迟分布与突发驻留长度的影响。

文件与获取方式

数据集仓库位于 HuggingFace 的 MLL-Lab 组织下,标签为 latency-profiles 与 latency-sensitive-bench,文件格式为 JSON 与 Parquet。数据集页面公开可访问,可在 Files and versions 区块浏览并下载各版本文件;页面未在正文中标注具体许可名称。

引用与版本

数据集由 MLL Lab 发布,页面记录的发布日期为 2026-09-29。当前未见到对应的正式论文标题,引用时请以仓库名 MLL-Lab/LAGEN-profiles 作为标识。

基本信息

记录数量未知
文件大小未知
文件格式JSON, Parquet
数据来源MLL Lab
数据模态结构化表格
发布日期2026-09-29
来源MLL Lab
数据落地页https://huggingface.co/datasets/latency-sensitive-bench/profiles
延迟画像推理服务基准GPU延迟突发驻留延迟分布

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费