经济全球化使得全球之间的联系越来越紧密,贸易往来越来越频繁。信息技术的高速发展,加速了全球化的进程。集装箱的优势和便利条件使得集装箱运输在货物运输中的地位越来越突出。集装箱码头作为集装箱运输的中转站,面临着机遇和挑战。集装箱运输的增长直接导致集装箱吞吐量的增加。随着集装箱船舶大型化的发展,港口之间的竞争越来越激烈。集装箱码头要想在竞争中脱颖而出,需要提高自身的核心竞争力。除了港口自身的地理位置和腹地经济,集装箱码头需要提高自身的生产技术、服务和管理水平。集装箱堆场是集装箱码头中集装箱临时存放的场所,是集装箱码头作业链的中间环节,对整个码头的作业起重要的作用。集装箱码头堆场场桥调度作为集装箱码头堆场管理的重要部分,集装箱码头场桥调度的优化不仅能提高堆场的工作效率,同时还能缓解码头作业压力,提高码头作业效率,从而提高码头的竞争力。本文研究集装箱码头堆场在动态环境下双场桥的调度问题,在这里动态环境是指作业任务未知、可动态变化。本文通过对集装箱码头堆场作业系统的分析,分析了集装箱码头作业流程和场桥调度内容,进而分析了集装箱码头场桥调度的影响因素。根据集装箱码头场桥调度问题动态环境条件,对问题进行假设,建立了集装箱码头在动态环境下双场桥调度的Markov决策过程模型。针对集装箱码头在动态环境下双场桥调度的Markov决策过程模型,设计了针对集装箱码头堆场双场桥调度的Q学习算法,改进了算法探索策略。最后,实验设计了4种基本场桥调度方案和9种基于Q学习算法的双场桥调度方案进行性能实验分析。结果表明:1)在只考虑堆场当前任务情况下,Q学习算法能够有效地调度场桥作业,在集卡平均等待时间方面降低了0.5%~20.8%;2)利用堆场未来一段时间的任务信息的双场桥调度Q学习算法与在只考虑堆场当前任务情况下的双场桥调度Q学习算法比较,在集卡平均等待时间方面降低了15%以上;3)在利用堆场未来一段时间的任务信息的双场桥调度Q学习算法的基础上添加堆场繁忙情况下场桥横扫调度,与利用堆场未来一段时间的任务信息的双场桥调度Q学习算法相比,有效地降低了在堆场繁忙情况下集卡的平均等待时间。