Token、Prompt、Embedding、Function Calling 概念介绍
英文标题：Token、Prompt、Embedding、Function Calling 概念介绍
在当今的大模型（LLM）时代，这四个词——Token、Prompt、Embedding、Function Calling——构成了 AI 开发的核心。如果把大模型比作一个“超级大脑”，那么这四个概念分
打开原文相关 4 · 机会 0
3.2 KB
589 B
5.4 KB
中文
在当今的大模型（LLM）时代，这四个词——Token、Prompt、Embedding、Function Calling ——构成了 AI 开发的核心。如果把大模型比作一个“超级大脑”，那么这四个概念分别代表了它的原材料、指挥棒、理解力 和外部触手 。
下面通过通俗易懂的方式为你逐一拆解。
1. Token（原材料）：AI 的“识字块”
大模型其实并不直接认识“文字”，它认识的是 Token 。
- 通俗理解 ：想象你有一盒乐高积木。当你写下一句话时，AI 会先把这句话拆成一个个“零件”。在英文中，一个 Token 可能是一个单词或词根；在中文中，通常是一个字或词组。
- 为什么重要 ：
- 计费单位 ：你和 AI 聊天的成本（钱）是按 Token 数量算的。
- 限制条件 ：模型都有“上下文窗口限制”（比如 128k Tokens），意思就是这个大脑一次最多只能“拿住”这么多积木，多了就记不住了。
- 例子 ：
"Apple"可能是 1 个 Token，但"Antidisestablishmentarianism"可能被拆成 5 个 Token。
2. Prompt（指挥棒）：你下达的“指令”
Prompt 就是你输入给 AI 的文字，也就是“提示词”。
- 通俗理解 ：它就像是导演对演员说的戏。如果你只说“演一下”，演员（AI）会一脸懵逼；如果你说“演一个在雨中失恋但强忍泪水的霸道总裁”，演员就能给你精准的表演。
- 核心技巧（Prompt Engineering） ：
- 角色设定 ：告诉它“你是一个资深律师”。
- 上下文补充 ：给它一些背景资料。
- 任务要求 ：告诉它输出格式（比如“请用 JSON 格式返回”）。
- 一句话总结 ：Prompt 的质量直接决定了 AI 输出的质量。
3. Embedding（理解力）：文字的“数字地图”
Embedding （嵌入）是大模型理解世界万物之间语义联系 的关键。
- 通俗理解 ：想象一个巨大的 3D 空间。Embedding 把每一个词语都变成空间里的一个坐标（一串长长的数字，比如
[0.12, -0.45, 0.88...]）。 - 它能做什么 ：
- 语义找词 ：在数字地图上，离“猫”最近的词不是“狗”，就是“小鱼干”。
- 关联搜索 ：当你在搜索框搜“美味的午餐”时，Embedding 算法能帮你找到“披萨”或“汉堡”，即使你的文档里没写“美味”两个字。
- 应用场景 ：现在的 RAG（检索增强生成） 技术就是靠 Embedding 把你的私人文档变成坐标，当你有问题时，AI 去坐标系里找离问题最近的文档片段喂给大模型。
4. Function Calling（外部触手）：AI 的“行动力”
这是让 AI 从“只会聊天”变成“能干活”的分水岭。
- 通俗理解 ：大模型本质上是一个预测概率的文本生成器，它没法直接查天气、买火车票或操作你的电脑。Function Calling 就是给 AI 定义一套“工具箱说明书”。
- 工作流程 ：
- 你问 ：“上海今天热吗？”
- 模型判断 ：我不知道实时天气，但我发现我工具箱里有个函数叫
get_weather(city)。 - 模型返回 ：它不直接说话，而是输出一个指令：“请帮我运行
get_weather(city='上海')”。 - 程序执行 ：你的电脑/程序运行这个函数，拿到结果反馈给 AI。
- AI 回答 ：“上海今天 35 度，挺热的。”
- 意义 ：它让 AI 拥有了连接真实世界 API（天气、日历、数据库）的能力，成了真正的助手（Agent）。
总结：它们是如何协作的？
想象你开发了一个“智能旅行管家”：
- Prompt ：你告诉 AI：“你是一个旅行管家，请根据用户需求查机票。”
- Token ：用户说了一句“我想去巴黎”，这句话被拆成 5 个 Token 发送给模型。
- Embedding ：后台系统把“巴黎”和你的历史订单进行 Embedding 匹配，发现你喜欢靠窗的座位。
- Function Calling ：AI 发现自己无法直接订票，于是触发了
book_flight函数，填好“巴黎”和“靠窗”的参数，帮你完成了下单。
这四个概念，共同完成了一个从“输入”到“理解”再到“执行”的闭环。
English / 原文
在当今的大模型（LLM）时代，这四个词——Token、Prompt、Embedding、Function Calling ——构成了 AI 开发的核心。如果把大模型比作一个“超级大脑”，那么这四个概念分别代表了它的原材料、指挥棒、理解力 和外部触手 。
下面通过通俗易懂的方式为你逐一拆解。
1. Token（原材料）：AI 的“识字块”
大模型其实并不直接认识“文字”，它认识的是 Token 。
- 通俗理解 ：想象你有一盒乐高积木。当你写下一句话时，AI 会先把这句话拆成一个个“零件”。在英文中，一个 Token 可能是一个单词或词根；在中文中，通常是一个字或词组。
- 为什么重要 ：
- 计费单位 ：你和 AI 聊天的成本（钱）是按 Token 数量算的。
- 限制条件 ：模型都有“上下文窗口限制”（比如 128k Tokens），意思就是这个大脑一次最多只能“拿住”这么多积木，多了就记不住了。
- 例子 ：
"Apple"可能是 1 个 Token，但"Antidisestablishmentarianism"可能被拆成 5 个 Token。
2. Prompt（指挥棒）：你下达的“指令”
Prompt 就是你输入给 AI 的文字，也就是“提示词”。
- 通俗理解 ：它就像是导演对演员说的戏。如果你只说“演一下”，演员（AI）会一脸懵逼；如果你说“演一个在雨中失恋但强忍泪水的霸道总裁”，演员就能给你精准的表演。
- 核心技巧（Prompt Engineering） ：
- 角色设定 ：告诉它“你是一个资深律师”。
- 上下文补充 ：给它一些背景资料。
- 任务要求 ：告诉它输出格式（比如“请用 JSON 格式返回”）。
- 一句话总结 ：Prompt 的质量直接决定了 AI 输出的质量。
3. Embedding（理解力）：文字的“数字地图”
Embedding （嵌入）是大模型理解世界万物之间语义联系 的关键。
- 通俗理解 ：想象一个巨大的 3D 空间。Embedding 把每一个词语都变成空间里的一个坐标（一串长长的数字，比如
[0.12, -0.45, 0.88...]）。 - 它能做什么 ：
- 语义找词 ：在数字地图上，离“猫”最近的词不是“狗”，就是“小鱼干”。
- 关联搜索 ：当你在搜索框搜“美味的午餐”时，Embedding 算法能帮你找到“披萨”或“汉堡”，即使你的文档里没写“美味”两个字。
- 应用场景 ：现在的 RAG（检索增强生成） 技术就是靠 Embedding 把你的私人文档变成坐标，当你有问题时，AI 去坐标系里找离问题最近的文档片段喂给大模型。
4. Function Calling（外部触手）：AI 的“行动力”
这是让 AI 从“只会聊天”变成“能干活”的分水岭。
- 通俗理解 ：大模型本质上是一个预测概率的文本生成器，它没法直接查天气、买火车票或操作你的电脑。Function Calling 就是给 AI 定义一套“工具箱说明书”。
- 工作流程 ：
- 你问 ：“上海今天热吗？”
- 模型判断 ：我不知道实时天气，但我发现我工具箱里有个函数叫
get_weather(city)。 - 模型返回 ：它不直接说话，而是输出一个指令：“请帮我运行
get_weather(city='上海')”。 - 程序执行 ：你的电脑/程序运行这个函数，拿到结果反馈给 AI。
- AI 回答 ：“上海今天 35 度，挺热的。”
- 意义 ：它让 AI 拥有了连接真实世界 API（天气、日历、数据库）的能力，成了真正的助手（Agent）。
总结：它们是如何协作的？
想象你开发了一个“智能旅行管家”：
- Prompt ：你告诉 AI：“你是一个旅行管家，请根据用户需求查机票。”
- Token ：用户说了一句“我想去巴黎”，这句话被拆成 5 个 Token 发送给模型。
- Embedding ：后台系统把“巴黎”和你的历史订单进行 Embedding 匹配，发现你喜欢靠窗的座位。
- Function Calling ：AI 发现自己无法直接订票，于是触发了
book_flight函数，填好“巴黎”和“靠窗”的参数，帮你完成了下单。
这四个概念，共同完成了一个从“输入”到“理解”再到“执行”的闭环。