跳到正文

#端侧

今日 0 条
10月14日周三
  1. 量子位55

    面壁智能开源MiniCPM-V 4.7:35B MoE模型可在iPhone上以3G内存流畅运行

    面壁智能与OpenBMB正式开源多模态模型MiniCPM-V 4.7,包含35B-A3B和1B两个版本。其中35B-A3B作为系列首个MoE模型,总参数35B但每次推理仅激活3B,在iPhone 17 Pro Max上仅占用3G内存即可达到每秒13个token以上的解码速度。

    推荐理由:原文展示了35B MoE模型在仅占3G内存下实现每秒13个token的解码速度,并提供了断网实测案例与前瞻专家调度技术细节。

10月7日周三
10月3日周六