LAGEN-profiles 推理服务延迟画像数据集
机器学习
0 下载
2 浏览
2026-09-29
数据集简介
延迟画像的记录内容
LAGEN-profiles 面向延迟敏感推理服务的基准测试,以结构化表格形式保存每次测量得到的延迟画像。记录中的核心字段包括:
distribution_type:延迟分布类型,字符串取值;latency_ms:延迟毫秒值列表(list<double>),保存实测延迟样本;quantile_levels:分位水平列表(list<double>),用于刻画延迟分布的分位点;burst_dwell_lengths:突发驻留长度列表(list<int64>),描述延迟突发状态的持续长度;burst_merge_gap_records:突发合并间隔记录数(int64);burst_rank_processes:突发排序过程列表,每项为 struct,含draw_count、dwell_length_spearman_rho、level_ms、level_residual_ms四个子字段。
这些字段共同构成一条延迟画像,把分布形态、分位水平与突发时序结构放在同一记录中,便于按分布类型或分位水平横向比较不同运行条件下的延迟表现。
运行环境元数据
每条画像记录同时附带产生该次测量时的软硬件环境,用于解释延迟差异的来源:
gpu_class:GPU 型号类别;instance_id:实例标识;gpus:GPU 列表,每项为 struct,含name与slot;topology_links:拓扑链路列表,当前记录中为 null 值;driver_version:驱动版本;torch:PyTorch 环境 struct,含backends、cuda_available、cuda_device_count、cuda_version、current_device、current_device_name、device_properties、float32_matmul_precision与version。
借助这些字段,可以按 GPU 型号、驱动版本或 CUDA 版本对延迟画像分组,考察环境变化对延迟分布与突发驻留长度的影响。
文件与获取方式
数据集仓库位于 HuggingFace 的 MLL-Lab 组织下,标签为 latency-profiles 与 latency-sensitive-bench,文件格式为 JSON 与 Parquet。数据集页面公开可访问,可在 Files and versions 区块浏览并下载各版本文件;页面未在正文中标注具体许可名称。
引用与版本
数据集由 MLL Lab 发布,页面记录的发布日期为 2026-09-29。当前未见到对应的正式论文标题,引用时请以仓库名 MLL-Lab/LAGEN-profiles 作为标识。
基本信息
记录数量未知
文件大小未知
文件格式JSON, Parquet
数据来源MLL Lab
数据模态结构化表格
发布日期2026-09-29
来源MLL Lab
数据落地页https://huggingface.co/datasets/latency-sensitive-bench/profiles
延迟画像推理服务基准GPU延迟突发驻留延迟分布
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载