torch-neuronx 模型兼容性测试结果集

机器学习
0 下载
1 浏览
2026-10-24

数据集简介

测试范围

本数据集关注的核心问题是:哪些 Hugging Face 模型能够通过原生 PyTorch 后端 torch-neuronx,在 AWS Trainium 上不经任何修改直接运行。测试覆盖三类库:transformers、sentence-transformers 与 diffusers。每一轮 sweep 从各任务排名前 1000 的候选模型中按顺序向下选取,直到累计运行 100 个模型为止;只有能够放入目标设备 4 张卡(最多 16 个 NeuronCore)的模型才会被纳入测试。

transformers 测试结果

transformers 是当前测试覆盖的主要库。每条记录对应一个模型在特定 neuronx-cc 版本与库版本组合下的推理测试结果,结果列取值包括 PASS、FAIL(load)、FAIL(gen)、FAIL(forward)、FAIL(output)、FAIL(other) 以及 EXCLUDED。失败标签区分了模型加载、生成、前向计算、输出处理等不同环节,便于定位兼容性问题发生的阶段。

sentence-transformers 测试结果

针对 sentence-transformers 的测试结果同样按版本组合组织,其 notes 列记录 top document 与对应分数,用于说明该模型在检索或相似度任务上的表现细节。结果列沿用与其他库一致的 PASS / FAIL / EXCLUDED 标注体系。

diffusers 测试结果

diffusers 库的模型也纳入同一套兼容性测试流程,结果记录方式与前述库保持一致,按 neuronx-cc 与库版本分组呈现,并标注 PASS、FAIL 或 EXCLUDED 状态。

结果组织方式

数据集以表格形式组织,核心维度为 neuronx-cc 版本与库版本:同一模型在不同版本组合下的测试结果分别记录,方便横向对比版本升级对兼容性的影响。每条结果除状态列外还附有说明列,sentence-transformers 的说明列中会记录 top document 与分数。

查询模型

如需查询某个具体模型是否在支持列表中,可使用配套的 Space 进行检索。

复现一次运行

复现流程遵循数据集所记录的测试方法:从各任务排名前 1000 的候选模型中按顺序选取,仅测试能放入目标设备 4 张卡(最多 16 个 NeuronCore)的模型,每轮 sweep 运行 100 个模型,并记录对应的 neuronx-cc 与库版本组合。

基本信息

记录数量未知
文件大小未知
文件格式表格
数据来源aws-neuron
许可Apache-2.0
结果状态PASS / FAIL / EXCLUDED
数据落地页https://huggingface.co/datasets/aws-neuron/torch-neuronx-model-support
发布日期2026-10-24
模型兼容性torch-neuronxAWS Trainiumneuronx-cc推理测试

上架信息

数据集市运营
平台统一选品上架,经质量审核后公开
0 次下载

价格

免费