【CNMO科技动静】有研究职员近日宣布了一种名为HRM-Text的新型语言模子练习方案，称其从零最先练习一个10亿参数基础模子，估算计较成本约为1500美元，练习时长为1.9天，利用16块GPU完成。研究职员暗示，这一方案可以或许降低基础年夜模子预练习对于高算力及海量互联网文本的依靠。 据CNMO科技相识，HRM-Text没有采用常见的Transformer架构，而是基在分层轮回模子HRM构建，将计较分为变化较慢的计谋层及变化较快的履行层。与传统年夜模子经由过程“下一个词猜测”进修原始文本差别，HRM-Text仅利用“指令-答复”数据举行练习，练习方针也从逐词猜测改成使命完成，即重要按照终极回覆质量举行优化。研究团队称，这类方式更靠近企业现实利用场景，由于用户凡是是缭绕详细使命提出问题并期待明确回复。 于数据范围上，HRM-Text练习时利用了约400亿个标志，显著少在主流模子常见的更年夜范围练习语料。数据由通用指令、数学、符号逻辑、教材训练及改写常识等“指令-答复”样本构成。研究职员还有于练习中移除了了展示中间推理历程的相干标志，以促使模子更多依靠内部层级推理布局。 测试成果显示，这一10亿参数模子于多项基准上取患了与更年夜开源模子靠近的体现，包括MMLU患上分60.7%、GSM8K患上分84.5%、MATH患上分56.2%。研究职员称，该模子练习时利用的标志数目比部门Qwen、Ge妹妹a及Llama模子少100倍至900倍，估算计较量低96倍至432倍。 为解决轮回布局于语言练习中轻易呈现梯度爆炸或者消散的问题，研究团队还有引入了名为MagicNorm的归一化要领，并采用慢慢增长推理深度的预热练习计谋。研究职员认为，这注解基础模子预练习纷歧定只能由高资源机构完成，企业将来可以缭绕自身营业数据及外部常识库，练习更紧凑的推理焦点模子。 不外，研究团队也指出，HRM-Text今朝更靠近观点验证，并不是现成的通用谈天产物替换方案，于多轮对于话、推理模式节制及工程适配方面仍需要进一步完美。 版权所有，未经许可不患上转载
AI模子
吉公网安备 22010202000255号