哈尔滨工业大学硕士学位论文
摘要
海运是一种重要的国际贸易和物流运输方式，能够有效地连接世界各地，
为国家和地区之间的经济发展和文化交流提供了基础支撑。作为世界经济全球
化的枢纽，具有不可替代的重要意义。而港口作为海运的“中转站”，是我国
海运事业的重要支撑。其规模和效率对我国的国际商贸水平起到至关重要的作
用。我国港口承担了针对国内和国际的煤炭运输的重要任务，提高煤炭港口的
转运水平对于国家煤炭能源相关经济的发展大有裨益。
本文以神华天津煤炭码头为实际研究对象。天津港码头事先将内陆运来的
煤炭存入堆场，再通过调动一系列不同的工作机器，最终将堆场中的煤装入对
应船只的每一个船舱中。本文对码头将煤炭从贮存堆场中运出，再装入有需求
的货船这一过程进行优化研究。在上述过程中，煤堆，取料机，皮带，装船机，
泊位等堆场资源的合理配合是码头排产效率提升的关键。课题的研究目的即为
优化码头资源的使用和配合问题。
本文建立了煤炭码头装船过程的数学模型，包括码头状态和排产方案两部
分。在模型的基础上设计智能优化算法进行求解：在待装船只预报信息已知的
情况下，设计了启发式优化方法，以遗传算法和差分进化算法为基础设计了和
问题相适应算子进行优化求解；在待装船预报表信息未知而当前已进港的装船
信息已知的情况下，设计基于值的深度强化学习方法对排产方案进行优化。在
研究中改进了DQN类方法探索策略，在epsilon-greedy策略的基础上针对动作
约束问题采用随机屏蔽方法进行训练，在仿真实验中得到优于固定策略和随机
策略的效果。同时，本文采用基于值的强化学习方法解决了排产过程中的突发
状况问题。本文基于强化学习环境模型，将状态的形式做调整得到图像化的码
头工作状态，通过状态图像化调整，解决了堆场结构可变的问题，进一步提升
排产效率。
关键词：码头装船优化;启发式方法;深度强化学习方法;随机屏蔽策略;
状态空间图像化表示
-I-
哈尔滨工业大学硕士学位论文
Abstract
Asanimportantmodeofinternationaltradeandlogisticstransportation,sea
transportationcaneffectivelyconnectallpartsoftheworldandprovidebasicsupport
foreconomicdevelopmentandculturalexchangesbetweencountriesandregions.As
thehubofworldeconomicglobalization,ithasirreplaceablesignificance.Asthe
transitstationoftheseatransportation,theportistheimportantsupportofthe
Chineseseatransportationindustry.Itsscaleandefficiencyplayavitalroleinour
internationalbusinesslevel.Ourporthastakenontheimportanttaskofdomesticand
internationalcoaltransportation,andimprovingthetransferlevelofcoalportisof
greatbenefittothenationalcoalenergyrelatedeconomicdevelopment.
ThistopictakesShenhuaTianjin