评估、迭代与总结

发布于 2025-09-23 分类: AI
系列文章: GRPO实战指南
第 1 部分: 从“代码补全”到“逻辑优化” 第 2 部分: 定义问题，项目成功的第一步 第 3 部分: GRPO的数据集，告别“标准答案” 第 4 部分: 奖励函数，模型能力的“铸魂师” 第 5 部分: 模型选择与训练实战 第 6 部分: 评估、迭代与总结 (当前)

第五步：评估与迭代——检验成果并持续改进

训练完成的时刻总是令人兴奋的，但这并不意味着项目的结束。恰恰相反，一个未经严格评估的模型，其真实能力仍然是一个未知数。现在，我们需要摘下“教练”的帽子，戴上“考官”的帽子，对我们精心培养的“毕业生”进行一场全面、客观的期末考试。

评估不仅是为了得到一个最终的分数，更重要的是，它能揭示模型的优点和缺点，为我们下一步的改进指明方向。

1. 如何进行系统性评估

评估的公正性至关重要。这意味着我们必须使用一个模型在训练过程中从未见过的“测试集” (Test Set)。这个测试集应该在数据分布和难度上与训练集保持一致。

为了进行评估，我们不能再依赖于训练时的奖励函数，因为它包含了主观的、用于引导学习的权重。我们需要一套更严格、更客观的自动化评估脚本。这个脚本将模拟一个“盲测”环境，对模型为每个测试问题生成的SQL进行流水线式的检查。

评估流水线 (Evaluation Pipeline):

%%{init: {'theme': 'dark', 'themeVariables': { 'primaryColor': '#2e3440', 'primaryTextColor': '#d8dee9', 'lineColor': '#d8dee9', 'fontSize': '14px'}}}%%
graph TD
    %% Define Styles for better contrast and clarity
    classDef io fill:#81A1C1,color:#2E3440,stroke:#D8DEE9,stroke-width:2px
    classDef process fill:#4C566A,color:#d8dee9,stroke:#D8DEE9,stroke-width:1px
    classDef success fill:#A3BE8C,color:#2E3440,stroke:#D8DEE9,stroke-width:2px
    classDef failure fill:#BF616A,color:#d8dee9,stroke:#D8DEE9,stroke-width:2px

    %% Define Graph Nodes
    A[测试集 Prompt]:::io
    B{训练好的<br>GRPO模型}:::process
    C[生成的 SQL]:::io
    D{1. 语法检查}:::process
    E["标记为<br>Syntax Error"]:::failure
    F{2. 约束检查}:::process
    G["标记为<br>Constraint Violation"]:::failure
    H{3. 执行检查}:::process
    I["标记为<br>Execution Error"]:::failure
    J{4. 正确性检查}:::process
    K["标记为<br>Correctness Error"]:::failure
    L["标记为<br>Valid & Correct"]:::success
    M[记录执行时间]:::success

    %% Define Graph Flow (Links)
    A --> B
    B --> C
    C --> D
    D -- 语法正确 --> F
    D -- 语法错误 --> E
    F -- 遵守约束 --> H
    F -- 违反约束 --> G
    H -- 执行成功 --> J
    H -- 执行报错 --> I
    J -- 结果匹配 --> L
    J -- 结果不匹配 --> K
    L --> M

最终的评估指标 (Evaluation Metrics):

根据上述流水线的输出，我们可以计算出几个核心指标：

  1. 有效准确率 (Execution Accuracy, EX): 这是最重要的指标。它衡量的是模型生成能够无错执行并返回正确结果的SQL查询的比例。

    • EX = (标记为 "Valid & Correct" 的数量) / (测试集总数)

  2. 平均查询时间 (Average Query Time, AQT): 这个指标只在“Valid & Correct”的查询中计算。它衡量的是模型生成的有效查询的平均执行效率。

    • AQT = SUM(所有 "Valid & Correct" 查询的执行时间) / (标记为 "Valid & Correct" 的数量)

  3. 失败模式分析 (Failure Mode Analysis): 我们还会统计各种失败类型的占比（语法错误、约束违反、执行错误、结果错误），这对于理解模型的短板至关重要。

2. 结果分析与洞察

我们将GRPO训练后的Qwen-Code-7B模型，与它的原始基础模型（只经过SFT）在同一个测试集上进行了对比评估。结果令人振奋：

  • GRPO 效果显著:

    • 有效准确率 (EX): 经过GRPO训练的模型，其EX得分（例如，75%）远超基础模型（例如，40%）。这表明GRPO极大地提升了模型生成可用且正确代码的能力。
    • 平均查询时间 (AQT): 在那些双方都能正确回答的问题上，GRPO训练后的模型生成的查询，其AQT（例如，0.8秒）显著低于基础模型（例如，2.5秒）。这直观地证明了我们的效率奖励（efficiency_reward）起到了作用，模型确实学会了优化。
    • 与大型模型对比: 有趣的是，我们这个7B参数的“专才”模型，在这个特定的Text-to-SQL任务上，其性能指标甚至可以媲美一些体量远大于它的（如34B甚至70B）通用“通才”模型。这充分体现了“专才”训练的价值。

  • 模型的优点与缺点:

    • 优点: 评估结果显示，模型在语法、约束遵守和输出格式方面几乎达到了完美的程度。这说明奖励函数中的“硬性门槛”设计非常有效，模型已经将这些规则内化为了本能。
    • 缺点 (最常见的失败模式): 绝大多数的失败案例都属于 “逻辑正确性错误” (Correctness Error)。特别是在处理那些需要多层嵌套逻辑、复杂聚合或者高级窗口函数的查询时，模型虽然能生成一个可以运行的SQL，但其逻辑与问题的要求有细微或根本的偏差。这是模型能力的天花板所在，也是我们下一步迭代的重点。

3. 下一步该怎么走？—— 迭代循环

评估结果清晰地为我们指明了改进的方向：必须提升模型处理复杂逻辑的能力。

这个挑战不能简单地通过“再多训练一会儿”来解决。我们需要回到设计的源头，进行更深层次的调整。这个（训练 -> 评估 -> 发现问题 -> 调整 -> 重新训练）的过程，形成了一个持续优化的闭环。

改进思路:

  1. 方案A：回到第三步，调整奖励函数

    • 问题: 当前的correctness_reward是一个0或40分的二元奖励，对于逻辑上“差一点点”的SQL，它和语法错误的SQL一样，都得不到任何正确性分数。这种反馈对于学习复杂逻辑可能过于粗糙。
    • 改进: 我们可以尝试引入“部分分 (Partial Credit)”。例如，如果一个SQL查询返回结果的列名和数据类型是正确的，但数据内容不完全匹配，我们可以给一个较小的分数（比如10分），而不是直接给0分。这能为模型在探索复杂逻辑时提供更细粒度的、正向的引导。

  2. 方案B：回到第二步，优化数据集

    • 问题: 可能我们的训练集中，高复杂度的样本数量不足，导致模型对复杂逻辑的“练习”不够。
    • 改进: 我们可以有针对性地在数据集中增加更多高复杂度的样本。同时，可以动态调整efficiency_reward的计算方式，比如在高难度问题上，对效率的奖励权重更高，或者基准时间更苛刻，以激励模型在难题上进行更深层次的优化探索。

总结与核心启示

至此，我们完整地走过了一个使用GRPO训练推理模型的实战项目。回顾整个旅程，我们可以提炼出几点宝贵的、可供复用的核心经验：

  1. GRPO 是可验证任务的利器
    对于那些有明确对错和优劣标准的问题（如代码生成、数学计算、API调用、游戏策略），GRPO提供了一种超越简单模仿（SFT）的强大范式。它能让模型学会“如何做得更好”，而不仅仅是“模仿范例长什么样”。

  2. “激发”而非“创造”
    永远不要低估选择一个强大基础模型的重要性。GRPO更像是一位优秀的教练，他能将一个有天赋的运动员培养成冠军，但无法将一个普通人变成运动天才。你的起点决定了你的终点。GRPO的价值在于将一个“懂代码”的模型，精雕细琢成一个“懂数据库优化”的专家。

  3. 奖励设计是灵魂
    这是整个过程中最具创造性和挑战性的环节。你需要像一个系统架构师一样，设计一套能够精确评估产出质量、有效引导模型优化、同时又足够健壮以至于不会被模型“钻空子”的自动化测试与评分系统。多花时间在奖励设计上，回报将是巨大的。

  4. 眼见为实，观察过程
    不要只盯着损失曲线和评估分数。一定要在训练过程中，亲眼去看看模型在不同阶段生成的样本和它的“思考过程”。这些定性的观察，会告诉你很多冰冷的数字图表无法展示的信息，让你能更深刻地理解模型的“心智”是如何变化的。

  5. 工具选择需权衡
    善用社区的优秀工具，如TRL、Unsloth、QLoRA，它们能极大地降低实验门槛，让你在有限的资源下也能开展前沿的探索。但同时也要意识到，工具在带来便利的同时也可能引入新的复杂性和不稳定性。在追求效率和保持稳定之间，需要根据项目阶段做出明智的权衡。

希望这篇详尽的实战指南，能够为你打开一扇通往“训练会推理的语言模型”的大门。GRPO的潜力远不止于SQL生成，它代表了一种让AI从“知识的搬运工”转变为“智慧的创造者”的可能。现在，轮到你来开启自己的探索之旅了。

-- 感谢阅读 --