OSCHINA 开源中国·· 25 天前
MiniMax 正式开源 M3.1 Flash 模型
MiniMax M3.1 Flash 正式开源
AI 导读
MiniMax 正式开源 M3.1 Flash 模型权重,该模型总参数 428B、激活参数 23B。上线 72 小时内真实用户处理超过 100 万亿 Token。此次开源重点在于推理效率优化,包括将前三个全注意力层替换为稀疏注意力以降低长上下文计算负担,以及采用 QAT 技术。
来源:OSCHINA 开源中国 · oschina.net
MiniMax M3.1 Flash 正式开源
MiniMax 正式开源 M3.1 Flash 模型权重,该模型总参数 428B、激活参数 23B。上线 72 小时内真实用户处理超过 100 万亿 Token。此次开源重点在于推理效率优化,包括将前三个全注意力层替换为稀疏注意力以降低长上下文计算负担,以及采用 QAT 技术。
来源:OSCHINA 开源中国 · oschina.net