大模型是什么

「大模型」这个词你在很多地方见过，官方页面上一句话带过，不解释。这里补上。

大模型就是你用的这类 AI 的底层。 你现在打开的每一个对话工具，背后都是同一个东西：先在海量文本上训练出一个大模型，再教它听懂指令、学会回答。你平时管它叫 AI，业内管它叫大模型。

它全称「人工智能预训练大模型」（英文缩写 LLM，Large Language Model），指用海量文本训练出来、规模大到几亿上百亿参数的神经网络模型。它不是为某个具体任务设计的一套规则，而是从大量文本里自己学出了语言的规律。

「大」在哪？三处同时大：

• 数据大：训练用的是海量文本——书、公告、网页、帖子、聊天记录、代码注释，都在里面。
• 参数量大：模型里的「参数」可以理解成从这些文本里提取出来的知识片段。这些片段多到以百亿计，所以叫「大」。
• 算力大：训练一次要用大量显卡和电，这是它为什么主要掌握在几家公司手里的原因。

AI 生成

它怎么学的：只有一件事——猜下一个字接什么最像样。你给它一句话，它算后面每个字的概率，挑一个最像的接上，再算下一个，接完就是回答。整段答案是现算出来的，不是从什么地方查出来的——这是全篇最要紧的一句。

这一点值得停一下，因为它解释了你几乎所有的不满：同一个问题问两遍答案不一样（每次都从零算）；它给的数字看着特别像真的（它算的是像不像，不是对不对）；它不知道你公司的事（那些文本里没有你的客户、你的报价、你的规矩）。

三个阶段，你现在只用到中间那个

预训练：先在海量文本上把语言规律学出来。这一步最贵，做出来的东西叫「基座模型」，通用但不听话。

指令微调：拿人工标注的高质量问答继续训，教它听懂指令、学会回答。你现在用的产品到这一步为止。

人类对齐：再训一遍，让它的输出符合人类习惯——不那么机械、不说有害的话。这一步决定了它「像不像人在说话」。

词元：还有一个概念你会经常碰到——词元（Token）。它不是按「字」处理文本的，是按词元切的，一个词元可能是一个字、半个词或一两个词。这就是为什么它数不准字数、你让它「控制在 100 字以内」它经常超。

模型大，不等于它知道你的事。它读过的那些文字里，没有你的客户、你的报价、你的规矩。这句话你在很多地方读到过，现在你知道它是技术事实，不是谦虚。