torch-neuronx 模型兼容性测试结果集
数据集简介
测试范围
本数据集关注的核心问题是:哪些 Hugging Face 模型能够通过原生 PyTorch 后端 torch-neuronx,在 AWS Trainium 上不经任何修改直接运行。测试覆盖三类库:transformers、sentence-transformers 与 diffusers。每一轮 sweep 从各任务排名前 1000 的候选模型中按顺序向下选取,直到累计运行 100 个模型为止;只有能够放入目标设备 4 张卡(最多 16 个 NeuronCore)的模型才会被纳入测试。
transformers 测试结果
transformers 是当前测试覆盖的主要库。每条记录对应一个模型在特定 neuronx-cc 版本与库版本组合下的推理测试结果,结果列取值包括 PASS、FAIL(load)、FAIL(gen)、FAIL(forward)、FAIL(output)、FAIL(other) 以及 EXCLUDED。失败标签区分了模型加载、生成、前向计算、输出处理等不同环节,便于定位兼容性问题发生的阶段。
sentence-transformers 测试结果
针对 sentence-transformers 的测试结果同样按版本组合组织,其 notes 列记录 top document 与对应分数,用于说明该模型在检索或相似度任务上的表现细节。结果列沿用与其他库一致的 PASS / FAIL / EXCLUDED 标注体系。
diffusers 测试结果
diffusers 库的模型也纳入同一套兼容性测试流程,结果记录方式与前述库保持一致,按 neuronx-cc 与库版本分组呈现,并标注 PASS、FAIL 或 EXCLUDED 状态。
结果组织方式
数据集以表格形式组织,核心维度为 neuronx-cc 版本与库版本:同一模型在不同版本组合下的测试结果分别记录,方便横向对比版本升级对兼容性的影响。每条结果除状态列外还附有说明列,sentence-transformers 的说明列中会记录 top document 与分数。
查询模型
如需查询某个具体模型是否在支持列表中,可使用配套的 Space 进行检索。
复现一次运行
复现流程遵循数据集所记录的测试方法:从各任务排名前 1000 的候选模型中按顺序选取,仅测试能放入目标设备 4 张卡(最多 16 个 NeuronCore)的模型,每轮 sweep 运行 100 个模型,并记录对应的 neuronx-cc 与库版本组合。