美团龙猫开源LongCat-2.5模型:总参数1.6万亿,支持百万上下文
IT之家11月9日消息,11月2日,美团龙猫发布面向长程智能体任务的 原生多模态模型LongCat-2.5。随后来到今天(9日),美团宣布该模型 正式开源 。
该模型采用MIT协议, 支持商用推理部署与二次训练,无需额外授权 ,是面向长程智能体任务的原生多模态模型。在复杂代码库开发、完整项目构建、Visual Coding与专业办公场景中,端到端交付能力均有明显提升。
模型总参数1.6万亿,每个token激活约480亿参数,支持一百万上下文 。针对显存与带宽受限的国产算力芯片,团队在模型架构、芯片适配与部署策略上也进行了深度协同优化。
根据介绍,LongCat-2.5在Visual Coding上表现出色,支持 创意设计、3D等任务 。这些能力提升来自视觉表征层的改造:模型将视觉信号表示为多层级离散token,与文本一样由主干模型统一处理,而非外挂视觉模块。具体而言,模型对原生分辨率视觉特征做残差向量量化,逐级补足细节;视觉token可离线预计算并缓存,减少在线计算量,也让分布式训练负载更均衡;视觉码本与主干联合训练,视觉与文本共享同一套主干参数,在同一语义空间内协同完成视觉理解与代码生成。
此外,LongCat-2.5采用W4A4高效推理方案,将专家权重与激活同时量化到4 bit,并通过原生INT4矩阵乘法单元执行计算。
IT之家附上有关链接如下:
模型开源:https://huggingface.co/meituan-longcat/LongCat-2.5
技术博客:https://longcat.ai/blog/longcat-2.5/
API平台:https://longcat.chat/platform/product
转载说明引用来源:IT之家引用网址:https://www.ithome.com/1/024/556.htm