LLM Call

2.1 LLM 推理

始终记住 LLM 只能且只会做一件事情，给定一串连续 token，预测下一个 token。

无论是思考推理、多轮对话、还是工具调用、亦或是复杂的 Agent 任务流程，都是这一个核心工作模式的延展。

以下是 ShareGPT 格式对应的一个极简 LLM 输入输出样例，符合我们的常规理解。

[
  {
    "system": "你是ChatGPT。",
    "conversations": [
      {
        "from": "human",
        "value": "你好！"
      },
      {
        "from": "gpt",
        "value": "你好，我是ChatGPT，有什么可以帮您？"
      }
    ]
  }
]

而在底层 LLM next token prediction 机制 (NTP) 中，这段输入输出本质上对应的是一个完整的 token 序列。

在给定输入 token 序列后，大模型每次会执行一次完整的推理，它以 im_start 这个 special token 开始，递归地吐出下一个 token，直到吐出 im_end 为止。

在这里再次强调大模型只会做 NTP 这一件事情，什么时候吐什么 token 这个能力是通过训练获得的。

2.2 多轮对话与 thinking

thinking 是模型的内嵌能力，它不是一种黑盒能力，而是通过 <think>...</think> 这种 template 嵌入到 assistant 回复开头的一种 token 组织模板。它是在训练阶段教会模型的一种生成姿势。

以下是 LLM 展开 thinking 推理的 token inference 示例：

thinking 不是免费的，它是用 token 额外的 token 消耗换取更高的生成质量。

从消息序列（message list）的角度来看多轮 + thinking：

{
  "model": "gpt-4.1",
  "messages": [
    {
      "role": "system",
      "content": "你是晓法，一个专业的法律AI助手。"
    },
    {
      "role": "user",
      "content": "公司想在劳动合同里加一条“员工离职后5年内不得从事同类行业”，这合法吗？"
    },
    {
      "role": "assistant",
      "content": "<think>\n分析用户的法律问题：竞业限制期限。\n检索《劳动合同法》第二十四条：竞业限制期限不得超过二年。\n结论：5年的约定违法。超出两年的部分无效。\n</think>\n不合法。根据《劳动合同法》规定，竞业限制的期限**最长不得超过两年**。如果合同中约定了5年，超出两年的部分在法律上是无效的。"
    },
    {
      "role": "user",
      "content": "那如果是针对普通的初级前端开发人员呢？签2年总可以了吧？"
    },
    {
      "role": "assistant",
      "content": "<think>\n用户追问：竞业限制的主体适格性问题（初级前端开发人员）。\n检索《劳动合同法》第二十四条：竞业限制的人员限于用人单位的高级管理人员、高级技术人员和其他负有保密义务的人员。\n分析：普通的初级前端通常不属于高级技术人员。除非能证明其接触了核心商业机密（且公司支付了经济补偿），否则强制签署竞业限制极易被劳动仲裁委认定无效。\n</think>\n签2年虽然在“期限”上合法了，但在“人员身份”上大概率是无效的。\n\n《劳动合同法》明确规定，竞业限制仅适用于**高级管理人员、高级技术人员和其他负有保密义务的人员**。普通的初级前端开发通常不在此列。除非公司能举证该员工掌握了核心底层代码或商业机密，并且在离职后按月支付了竞业限制补偿金，否则这份协议在劳动仲裁时极易被判定对该员工不具备约束力。"
    }
  ]
}

其对应的 token 序列如下  *为了可读性上文已做换行处理，实际上是一个连续且完整的 token 序列

2.3 小结与思考