标题：基于DRL的港口起重机自主运动控制方法研究
作者：陈桂利；陈夕松
作者单位：东南大学软件学院，江苏 苏州 215123；东南大学自动化学院，江苏 南京 210096
关键字：深度强化学习；起重机控制；Unity ML-Agents
摘要：在传统港口中，集装箱的转运依赖于人工操作，这限制了港口的自动化进展。因此，提出了一种基于DRL的港口起重机自主运动控制方法，旨在提升起重机转运效率和减少负载摆动。首先，在Unity3D中创建一个高度相似于真实港口的仿真场景；其次，设计变绳长下的起重机自主运动控制任务，实现起重机在虚拟环境中的运动；最后，基于ML-Agents框架将PPO算法应用于起重机自主运动控制任务。仿真结果表明，基于DRL的起重机模型可以快速准确地转运集装箱，累积奖励和价值网络损失值达到收敛，且每个回合均能完成集装箱转运任务。