OSCHINA 开源中国·· 11 天前
百度开源文心5.5 Flash Base基座模型
百度发布最新基座模型 ERNIE 5.5 Flash Base:效率、开源、高性价比
AI 导读
百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。该模型采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练。其预训练上下文长度最高达128K,微调与推理阶段支持最长100万Token上下文。
来源:OSCHINA 开源中国 · oschina.net