Toskar 社区模型评分聚合数据

机器学习
0 下载
0 浏览
2026-11-12

数据集简介

仓库定位与用途

Toskar model data 是 Toskar 社区模型评分的公开、版本化聚合快照仓库。它不面向单次评测记录,而是把社区提交的评分按模型配置与硬件分组做统计汇总,让使用者能快速判断某个本地模型在自己相近的硬件上表现如何。仓库中只有聚合结果,没有逐人记录,所有统计均以群组为单位呈现。

目录布局

仓库按数据类型划分目录,主要文件与路径包括:

  • schema/ratings-v1.schema.json:评分聚合数据的结构定义
  • schema/quality-v1.schema.json:质量结果数据的结构定义
  • ratings/summary.json:评分汇总入口
  • models/<model>/<quantization>-<runtime>-<backend>-<format>.json:按模型配置拆分的聚合文件
  • hardware/cohorts.json:硬件分组定义
  • snapshots/<date>.json:按日期生成的快照
  • quality/results.json 与 quality/models.json:Toskar 自测质量结果

一条配置记录包含什么

每个模型配置文件对应一组模型、量化、运行时、后端与格式的组合,字段涵盖:

  • model、format、quantization、runtime、backend
  • cohorts:内含 tier、cohort、ratings、average、weighted_score、confidence、tags、median_tokens_per_second、successful_start_rate
  • languages、method_version、submitted

硬件分组按 family、class、backend、global 逐层统计。为避免暴露过细信息,一个分组至少积累 3 条评分(min_ratings)才会出现;精确到某台机器的型号与内存带宽的 exact-hardware 分组永不发布。

质量结果

除社区评分外,仓库还收录 Toskar 自测的质量结果,位于 quality/results.json 与 quality/models.json,与评分聚合数据分开存放、分别遵循各自的结构定义。

隐私处理

仓库仅保存聚合值:每个模型配置与硬件分组只给出均值与计数,不包含个人级记录;低于 3 条评分的分组不显示,精确硬件分组不发布,从机制上降低反推个体信息的可能。

更新方式

.github/workflows/snapshot.yml 每日运行,自动生成并发布一份新的快照,因此数据按日期持续累积,可按快照回溯不同时间点的社区评分状态。

许可与获取

数据以公有领域 CC0 发布,任何人可免费使用。仓库通过 GitHub 公开,可直接下载;官方文件直链由系统嗅探写入。

参与贡献

Toskar 社区欢迎使用者提交评分与反馈,也接受对仓库的贡献;具体参与方式见仓库说明。

基本信息

记录数量未知
文件大小未知
文件格式JSON
数据来源Toskar
许可协议CC0
更新频率每日
数据模态表格型聚合数据
数据落地页https://github.com/yeixio/toskar-model-data
发布日期2026-11-12
大语言模型评测本地模型评分硬件适配量化配置聚合数据CC0

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费