跳到正文
原文
量子位· 十三·· 2 天前精选AI 评分55

面壁智能开源MiniCPM-V 4.7:35B MoE模型可在iPhone上以3G内存流畅运行

iPhone断网跑35B多模态!国产开源新模型,只占3G内存

AI 导读

面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7,包含35B-A3B和1B两个版本。其中35B-A3B作为系列首个MoE模型,总参数35B但每次推理仅激活3B,在iPhone 17 Pro Max上仅占用3G内存即可达到每秒13个token以上的解码速度。

推荐理由

原文展示了35B MoE模型在仅占3G内存下实现每秒13个token的解码速度,并提供了断网实测案例与前瞻专家调度技术细节。

来源:量子位 · qbitai.com