腾讯hunyuan

6月27日的Home报道说，Tencent Hunyuan Big Model Family今天宣布，它将欢迎新成员-Hunyuan -A13B型号发布并开放资源。作为基于混合（MOE）架构架构的大型模型，Hunyuan-A13B的总参数为800亿，激活参数为130亿。据说“虽然效果与顶级开放资源模型相当，但它大大减少了开销的延迟和计算。” Tencent Hunyuan说，对于个别开发人员和中小型企业来说，这无疑是个好消息。在极端条件下，只能部署中低端GPU卡。用户可以在GitHub和HuggingFace等技术社区中下载并使用它。 Model API位于Tencent Cloud的官方网站上。 Hunyuan-A13B模型选择通过Moe的体系结构激活每个输入的相关模型成分，与密集模式相比LS相同，并为个人开发人员和中小型业务规模提供了“可扩展且出色的替代方案”。在预训练期间，该模型使用20万亿个质量的语料库网络，从而提高了模型的意识上限。增强MOE理论架构系统的规模定律（即规模定律），为MOE的建筑设计提供了一系列工程指南，并改善了训练前的影响模型。用户可以根据需要选择思考模式。快速思考方式提供了简洁有效的输出，适用于追求上述速度和最低计算的简单任务；缓慢的思维模式涉及更深入，更全面的推理步骤。考虑到效率和准确性，它优化了计算资源的提供。 Hunyuan还开设了两个新的数据集，以使用相关行业审查标准来填补空白。其中，Artifactsbench主要用于代码审查，BUILDS具有1825年工作的新基准； C3台式设计1024数据测试，用于审查科学模型，以发现模型功能的缺点。从特定的影响（例如数学推理）方面，例如“更大的9.11或9.9”，该模型可以准确地完成小数的比较并显示Saushynod分析能力。对于当今流行的代理应用程序，该模型可以调用工具以生成复杂的命令响应，例如旅行数据和数据审核技术。让我们看一下数据和效果。在多个公共数据测试集中，该模型显示了对数学，科学和逻辑推理活动的“领先效果”。