LLM冷启动基准测试
机器学习
0 下载
22 浏览
2026-07-25
数据集简介
数据集概述
LLM冷启动基准测试(llm-cold-start-benchmark)专注于测量语言模型从冷存储(cold storage)加载到能够提供第一个token(first token)所需的时间。该测试在单个NVIDIA T4 GPU上进行,涵盖了25个开放权重模型(open-weight models),这些模型分属17个架构家族(architecture families),总检查点(checkpoints)大小为100.9 GiB。
数据集内容
数据集包含一系列测量结果,记录了不同模型在冷启动场景下的加载时间和首次token生成时间。涉及的模型架构包括多种主流和新兴的LLM架构,确保基准的广泛代表性。每个模型的检查点文件均包含在数据集中,以便用户复现测试或进行进一步分析。
使用方式
该数据集以HuggingFace Datasets格式提供,用户可通过HuggingFace平台直接访问和下载。下载后,用户可以使用提供的脚本或自定义代码加载模型检查点,并运行冷启动基准测试。数据集的存储路径为ArchCoder/llm-cold-start-benchmark。
许可与引用
该数据集为公开免费数据集,具体许可信息请参考HuggingFace页面。引用时请注明原始来源。
基本信息
记录数量未知
文件大小25 open-weight models spanning 17 architecture families and 100.9 GiB of checkpoints
文件格式未知
数据来源HuggingFace
数据落地页https://huggingface.co/datasets/ArchCoder/llm-cold-start-benchmark
发布日期2026-07-25
LLM冷启动基准测试语言模型GPU
上架信息
数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载