算力资讯
算力资讯技术进展

欧洲云服务企业OVH涉足AI模型,开源发布Olala mini 7A1B

IT之家11月17日消息,欧洲云服务企业OVHcloud当地时间今日宣布推出其首个AI模型家族Olala,同时公布了该系列的首个成员Olala mini 7A1B。

Olala mini 7A1B采用结合了Differential-TPA和Mamba-3的混合注意力机制,总参数70亿、激活参数10亿,使用BF16数据格式。 该模型将以Apache 2.0许可开源发布在Hugging Face上 。

其 可在8GB显存的GPU上运行 ,在RTX A4500上可实现160 TPS的词元吞吐量,仅CPU平台也能实现50 TPS。

OVH表示,Olala mini 7A1B在三台欧洲公共超级计算机上利用NVIDIA的GH200、A100、H100训练而成, 总开销达到700万欧元 (IT之家注:现汇率约合5,142.8万元人民币) 。

Olala mini 7A1B模型初始版本上下文长度为32K,预计今年底推出的1.1版本将扩展至128K上下文并具备更好的数学能力。OVH后续将持续开发AI模型,Olala 2.0的参数规模将>100B。

转载说明引用来源:IT之家引用网址:https://www.ithome.com/1/028/453.htm