Nori-30M性能深度解析：96个回归任务中超越基础版的关键原因 Nori-30M性能深度解析96个回归任务中超越基础版的关键原因【免费下载链接】Nori-30M项目地址: https://ai.gitcode.com/hf_mirrors/Synthefy/Nori-30MNori-30M是一款基于上下文学习ICL的表格基础模型专为回归任务设计拥有约29.2M参数通过单次前向传播即可在新查询行上进行预测无需任务特定训练或微调。该模型完全基于合成数据训练在96个回归任务中展现出超越基础版的卓越性能。惊人性能表现96个任务全面领先Nori-30M在来自三个公共基准套件的96个回归任务中进行了评估采用与基础版Nori相同的协议取得了令人瞩目的成绩套件数据集数量平均R²中位数R²TabArena130.81480.8834TALENT720.75750.8844OpenML110.64590.6212总体960.75250.8745这一结果表明Nori-30M在每个套件上都比约6M参数的基础版表现更出色充分证明了其在表格回归任务中的强大能力。评估使用了捆绑的默认推理配置和大型GPU协议每个数据集最多50k上下文行。架构升级超越基础版的核心原因Nori-30M之所以能在性能上超越基础版关键在于其精心设计的架构升级。从config.json中我们可以看到以下关键参数模型类型features-transformer嵌入维度224隐藏维度768层数28头数4每组特征数2块结构SwiGLU RMSNorm pre-norm (layer_archsmf)回归头999-quantile pinball这些架构参数的优化使得Nori-30M能够更好地捕捉表格数据中的复杂模式和关系从而在回归任务中取得更优异的性能。特别是增加的层数和隐藏维度为模型提供了更强的表达能力使其能够处理更复杂的表格数据。简单易用快速上手指南Nori-30M不仅性能强大而且使用简单。只需通过以下步骤即可快速开始使用安装库pip install synthefy-nori基本使用from sklearn.datasets import load_diabetes from sklearn.model_selection import train_test_split from synthefy_nori import NoriRegressor X, y load_diabetes(return_X_yTrue) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state0) model NoriRegressor(modelnori-30m) # 首次使用时从Hub下载权重 model.fit(X_train, y_train) # fit仅将标记的行存储为上下文 pred model.predict(X_test) # 单次前向传播即可完成预测无需训练使用本地 checkpointmodel NoriRegressor(model_pathpath/to/nori.pt)Nori-30M会在GPU可用时自动使用GPU否则回退到CPU。此外还提供了一个便捷的predict函数可以直接进行预测而无需创建模型对象from synthefy_nori import predict pred predict(X_train, y_train, X_test, taskregression, modelnori-30m)适用场景与局限性适用场景Nori-30M特别适合中小规模的表格回归任务其中上下文学习具有吸引力无需每个任务单独训练。无论是学术研究还是工业应用Nori-30M都能提供快速、准确的回归预测。局限性尽管Nori-30M性能出色但仍有一些局限性需要注意密集的O(N²)样本注意力限制了实际上下文大小因此目前在大N/长上下文表格上与最佳基线相比仍有差距。模型完全基于合成数据训练未使用任何基准数据进行训练。总结Nori-30M作为一款高性能的表格基础模型通过精心设计的架构和合成数据训练在96个回归任务中全面超越了基础版。其简单易用的API和强大的性能使其成为表格回归任务的理想选择。无论是对于机器学习新手还是经验丰富的研究人员Nori-30M都能提供快速、准确的预测能力助力各类表格数据回归问题的解决。要开始使用Nori-30M只需克隆仓库并按照上述步骤操作git clone https://gitcode.com/hf_mirrors/Synthefy/Nori-30M通过不断优化和改进Nori-30M有望在未来的表格学习任务中发挥更大的作用为用户提供更强大、更高效的回归预测工具。【免费下载链接】Nori-30M项目地址: https://ai.gitcode.com/hf_mirrors/Synthefy/Nori-30M创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考