首页 / 资讯 / 详情
资讯

蚂蚁百灵开源Ling-3.1-flash大模型

IT之家·2026-10-16 16:00·4 阅读
本文由 AI 辅助生成,综合自以下公开报道
参考来源
IT之家

【事件概要】

蚂蚁百灵宣布开源Ling-3.1-flash AI模型,该模型总参数约560B,每个Token激活约25B,最高支持1M上下文长度,并已在Hugging Face与ModelScope平台开放下载。

【关键信息】

模型针对本地部署优化:采用MXFP4量化routed experts、dense层保持block-FP8,权重占用从约534GB降至292GB,服务部署所需Hopper GPU由8卡减至4卡;推理性能方面,在8卡Hopper配置下平均首Token时间为604毫秒,相邻输出Token平均间隔为3.28毫秒;在4卡Hopper吞吐测试中达到约1.36 QPS,满足首Token时间P50小于3秒、相邻输出Token间隔P90小于70毫秒的约束;支持长上下文并行推理方案(PCP/DCP)及增强的JSON Schema工具调用能力;提供OpenRouter与Ling Studio双渠道API服务,按输入、输出及缓存读取分别计费。

【对出海企业的影响】

该模型为出海企业提供高上下文容量、低硬件门槛的本地化AI部署选项,尤其适配需处理长文档的企业知识问答与办公助手场景;4卡即可部署的配置降低GPU采购与运维成本,有利于中小出海团队快速集成;增强的JSON Schema支持便于对接海外主流SaaS接口;公开评测中的响应速度与吞吐指标可作为海外服务SLA设计的技术参考;多平台开源与双币种API计价方式提升接入灵活性。

评论

加载中…
‹ 返回资讯列表