量子位· 十三·· 2 天前精选AI 评分55
面壁智能开源MiniCPM-V 4.7:35B MoE模型可在iPhone上以3G内存流畅运行
iPhone断网跑35B多模态!国产开源新模型,只占3G内存
AI 导读
面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7,包含35B-A3B和1B两个版本。其中35B-A3B作为系列首个MoE模型,总参数35B但每次推理仅激活3B,在iPhone 17 Pro Max上仅占用3G内存即可达到每秒13个token以上的解码速度。
推荐理由
原文展示了35B MoE模型在仅占3G内存下实现每秒13个token的解码速度,并提供了断网实测案例与前瞻专家调度技术细节。
来源:量子位 · qbitai.com