REPLAY
配方与当前状态
步 0 为初始状态；后续各步为动作执行后状态。质量评价使用该动作执行前的调合头约束。
01 / 策略与过程
汽油调合
策略实验与分析
同一环境、同一扰动，观察强化学习如何改变配方，
以及它在成本与质量之间作出的选择。
下方第一部分保留 V2 历史回放。本轮学习实验与新策略回放见“新增 PPO 微调实验”。
ECONOMICS
调合成本指数
固定配方原 RLRL＋零余量修正RL＋0.1余量修正模型修正＋LP
采用教师代码的体积配比加权价格，未换算为严格质量成本。不同策略失败时停止曲线。
QUALITY
质量变化与课程约束
实线为所选策略的性质，虚线为适用边界；密度同时显示上下限。罐内过程达标率不等同于最终成品达标率。
02 / 同条件对照
完整回合评价
| 策略 | 完成状态 | 平均成本指数 | 调合头达标 | 罐内过程达标 | 最终罐内达标 | 累计调整 / 百分点 |
|---|
未完成的回合不能与完成回合直接比较成本。累计调整为四种组分配比变化绝对值之和。每个场景各策略共享初始状态与扰动。
02 / 新增 PPO 微调实验
奖励修改后，策略学到了什么？
沿用课程 Actor 结构与初始权重，比较原奖励继续训练和增加质量惩罚的微调。每组 3 个训练种子，固定 24 次更新，最后在 8 个本次未用于调参的场景上评价。
原奖励微调新奖励微调
横轴为 PPO 更新次数，纵轴为采样训练中的调合头违规率（%），曲线取3个训练种子均值。训练时含探索噪声，不能代替下表的确定性评价。
| 策略组 | 成本指数均值 | 调合头违规率 | 违规步数 / 总步数 | 评价回合数 |
|---|
不同组回合数不同，比较违规率而非直接比较总违规步数。原始RL与新奖励微调均有配方偏离限制违规，完整记录见证据。所有评价回合最终罐内均达标。
新评价场景：查看实际轨迹
实线为调合头实际RON，虚线为当步动态下限。此处读取新评价轨迹，与上方V2历史场景分开。
训练配置、随机种子和权重证据
04 / DEEPSEEK 候选动作实验
让语言模型提出候选，再检查约束
固定示例：旧场景53、第128步执行前。仅提供当时可见的原料性质、配方、约束和Actor建议，不读取未来扰动。DeepSeek最多提出5个动作，由本地公式检查可行性。
重新生成会将上述当前观测发送到DeepSeek。结果仅用于教学仿真预测，不写入已有实验轨迹。
尚未加载候选。
| 候选 | 取整后动作 / 百分点 | 预测RON | 预测成本 | 配方有效 | 质量可行 |
|---|
03 / 实验分析助手
这一步为什么修改配方？
助手读取你选中的场景和步数。数值来自本地记录，DeepSeek 负责解释，回答不会改变配方。
点击后会向 DeepSeek 发送问题和所选实验摘要。密钥由本地服务保管。
等待提问
选好场景与步数，再点击“分析当前记录”。建议从场景 53、第 128 步开始。