来源:@第一财经日报微博
腾讯混元将训练更大模型腾讯称下一代Hy模型规模将显著扩大
【#腾讯混元将训练更大模型##腾讯称下一代Hy模型规模将显著扩大#】11月21日凌晨在技术社区Reddit上,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员进行了持续120分钟的问答(AMA,Ask Me Anything),回答了关于混元研发方向和思路的提问。模型的参数量问题受到关注,尤其是字节、Kimi都在向上万亿参数推进,为何混元仍在7000亿左右?针对总参数量770B(B为10亿参数)的Hy4和参数量224B的Hy4 flash,混元团队称,相比偏重编程,新模型更多面向通用用途。Hy4还有很大提升空间,尤其是在后训练方面,团队正在大规模强化学习上投入大量精力。此外,混元团队称,正在计划训练参数规模更大的模型,相信Scaling Law(缩放定律)并将继续投入,下一代Hy模型的规模将进一步显著扩大。