标题：融合补充分化经验池改进的抽油机井深度强化学习优化调控研究
作者：张恒 陈夕松；姜磊
作者单位：东南大学自动化学院，江苏 南京 210096；南京富岛信息工程有限公司，江苏 南京 210061
关键字：深度强化学习；抽油机井；样本补充；经验池分化
摘要：在采用深度强化学习方法解决新能源消纳需求下抽油机井的生产优化问题时，易出现高奖励经验稀疏、模型收敛困难等问题。提出了一种改进的TD3算法，引入天气数据驱动的经验样本动态补充机制，并依据样本的绿电消纳表现构建分化式双经验回放池。对照实验表明，改进算法在同等训练条件下，模型收敛速度较传统TD3取得了显著提升，在跨井况的重复实验中也较传统TD3展现出更加良好的可复用性，有效增强了深度强化学习算法对复杂油井生产场景的适应能力。