张 军1,2 程文明1,2 杜 润1,2 陈海潮1,21 西南交通大学机械工程学院 成都 6100312 轨道交通运维技术与装备四川省重点实验室 成都 610031
摘 要：起重机吊具在作业过程中常会出现摆动，文中在基于视频流对集装箱锁孔进行追踪及中心定位后，通过拟合算法和视觉测量技术得到起重机吊具与集装箱的相对距离，进而可将其反馈给控制系统以实现自动对位。使用欠阻尼系统衰减振动模型近似吊具在某方向上的摆动过程并进行仿真实验，发现截取连续性整周期衰减数据，同时结合单维度费马点模型，可以较准确地拟合出衰减模型的平衡位置。使用1:15 的起重机和集装箱模型进行全流程实验，实验结果表明：经系统偏差标定后，基于视频流所识别定位的吊具锁头与集装箱锁孔的最大距离误差半径为2.79 mm（锁孔约为8 mm×12 mm），基本可以满足对位精度需求。
关键词：起重机；视频流；锁孔中心点拟合；单目视觉测距；自动对位
0 引言集装箱站场的作业效率及管理一直是相关研究部门重点关注的问题。自荷兰鹿特丹港口自动化集装箱堆场投入使用后，世界各国都开始趋向于自动化集装箱堆场方向发展，促进了集装箱堆场现代化建设及技术革新[1]。随着计算机视觉技术的发展，越来越多研究人员和工程师开始使用图像视觉系统辅助实现自动化站场[2-4]。Wu 等[5] 利用机器视觉技术识别集装箱箱号，为码头、堆场自动化管理提供了解决方案。PENG 等[6] 利用计算机视觉系统跟踪及引导起重机操作，对起重机操作进行了改善。而在集装箱吊具自动化定位和吊装方面，目前主要是通过在吊桥横梁上或吊具上安装激光扫描仪、超声波装置进行测量计算和三维重建等方式实现，如我国首个自动化集装箱堆场就是使用图像和激光测量相结合的集装箱定位方法来辅助司机进行定位[7]。Hee-Joo 等[8]使用双目视觉系统对集装箱锁孔进行追踪与定位，具体过程为：首先识别集装箱边缘，然后根据边缘处的拐角定位集装箱锁孔，进而计算集装箱中心位置以及吊具与集装箱的高度和角度，以辅助集装箱的自动装卸操作。
该方法没有直接检测具有明显特征的集装箱锁孔，在检测过程中，集装箱边缘特征容易受到外界环境的干扰，且高度尺寸可通过编码器转换得到，使用双目视觉测距增加了系统的复杂度。
起重机要实现自动吊装，首先需要准确反馈起重机吊具与集装箱的相对距离到控制系统。考虑起重机吊具在作业过程中会出现摆动，张军等[9] 通过视频流实现了追踪集装箱锁孔及定位每帧追踪图像的锁孔中心，如图1 所示，由于单帧图像的定位结果无法代表吊具在平衡状态下所采集图像中的锁孔中心位置，本文在此基础上，首先截取锁孔中心追踪数据并对其进行拟合，然后利用计算机视觉测量技术[10] 测量摄像机与拟合点之间的距离，进而获得起重机吊具与集装箱的相对距离。考虑起重机高度、摄像机视角及集装箱尺寸的影响，吊具上的摄像机采用对角方式安装，如图2 所示。
（a）摄像头1 锁孔中心追踪定位结果
（a）摄像头2 锁孔中心追踪定位结果图 1 基于视频流追踪并定位锁孔中心结果
图 2 起重机吊具与摄像机安装位置
1 拟合锁孔中心点在追踪并定位了锁孔中心像素坐标后，为了拟合吊具在平衡状态下所采集图像中对应的锁孔中心位置，本节通过欠阻尼系统衰减模型近似吊具摆动过程并进行仿真实验，使用不同的方法和数据分别对衰减模型的平衡位置进行拟合，从而得出更精准的拟合方法。1.1 起重机作业过程分析起重机吊具位于起重小车之下，并通过钢丝绳与起重小车上的卷筒相连。在理想状态下，起重小车移动到某个位置后，会带动吊具以卷筒为固定点做单摆运动。然而在实际运动过程中，吊具会因阻尼的影响而逐渐平衡于某个位置。在某个指定方向上，如果只考虑阻尼系数的影响，可使用欠阻尼系统衰减振动模型[11] 近似吊具在该方向上的摆动过程，模型表达式为。
式中：A 和θ 分别为阻尼摆动的初始幅值和初相角，它们都取决于运动初始条件，δ 为阻尼系数，wd 为阻尼摆动的固有角频率。
在起重机作业过程中，操作员为了对位成功，会相继调整大小车位置。在理想条件下，吊具会在横、纵两个方向上做相互独立的欠阻尼系统单摆运动，其摆动周期如式（2）所示。由于两个方向摆动的绳长相等且吊具重力加速度保持不变，所以横、纵向摆动周期相同。
式中：T 为单摆周期，l 为绳长，g 为当地重力加速度。
1.2 拟合方法与数据截取在获取了追踪视频流中的锁孔中心点像素坐标1 2 ( , ), ( , ),..., ( , ) 1 1 2 2 n n n N x y N x y N x y 后，需要依据这些数据拟合平衡状态下的锁孔中心成像坐标。本文考虑以拟合点P(x, y)到各点的直线距离之和最小为目标，其目标函数为。
当数据集元素个数n ≥ 3 时，这就是典型的n 个点的费马问题[12]。因函数g (x,y) 对应一阶偏导数存在且二阶偏导数恒大于零，所以当一阶偏导数为零时，即可求得对应点P （x,y），可利用迭代法进行拟合，其x 和y的迭代表达式为
在吊具摆动过程中，虽然吊具在横、纵方向上的摆动周期相同，但吊具在两个方向上为独立摆动，因此，本文提出单维度费马点模型，用于分别拟合锁孔中心在横、纵方向上的平衡位置。具体是：基于n 个点的费马点模型，只考虑求解某一指定方向上的费马点，即令另一方向的坐标值全为零，进而进行迭代。结合式（4）可知，单维度费马点的迭代表达式为\
除此之外，也可直接使用锁孔中心点在对应方向上的平均值来近似平衡位置。
对于任意拟合方法，拟合数据的选取都至关重要。根据式（1）可绘制欠阻尼系统衰减模型示意图，如图3 所示，其最大摆动幅值随时间增加而逐渐减小且呈周期性变化。因此，为了得到更高的拟合精度，宜选取连续性数据进行拟合。
图3 欠阻尼系统模型衰减示意图
使用上述拟合方法分别对所有数据和截取数据进行拟合，拟合结果如表1 所示。
实验采用上述欠阻尼系统衰减模型，其在x、y 向的平衡位置均为0。由拟合结果可知：对于数据选取，使用截取数据进行拟合的误差更小；对于截取数据，更适合采用连续整周期（偶数个半周期）数据进行拟合；对于拟合方法，单维度费马点法具有更高的拟合精度。因此，宜截取连续性整周期锁孔中心数据，并结合单维度费马点模型来拟合平衡状态下的锁孔中心成像坐标。
2 单目视觉测距在本文中，因起重机吊具与集装箱的相对距离无法直接利用计算机视觉技术进行测量，所以本文采取先测量集装箱锁孔中心到摄像机中心的距离，再通过距离转换而实现。本节通过介绍单目视觉测距原理及测距所需参数，从而为起重机吊具与集装箱自动对位奠定基础。
图 4 单目计算机视觉测距简化模型示意图
2.1 单目视觉测距原理
单目计算机视觉测距的基本原理是小孔成像模型，为了方便思考和计算，在“数学上”把投影平面平移到其关于小孔对称的位置，如图4 所示。由三角形相似原理可知：
式中，f 为相机镜头焦距，Z 为镜头到被测物体的距离，L a 为被测物体实际长度，L p 为物体的成像长度。
2.2 摄像机测距参数计算机视觉测距是基于图像识别进行定位的重要环节，其测距精度不仅与图像识别精度有关，还与摄像机参数息息相关，如通过摄像机标定所获取的摄像机内参数矩阵和畸变系数等。内参数矩阵，可表示为
式中：f 为摄像机焦距 ；d x、d y 分别为像素坐标系中x、y 方向上的像元尺寸，(u0 ,v0) 为光心（不一定是图像中心）在像素坐标系中的投影坐标，对于畸变系数（常用k1, k2, p1, p2, k3），主要用于对采集图像进行去畸变处理，从而能够更准确的利用图像信息以及实现高精度测量。由于在计算机视觉中测距均是以光轴为基础进行，而锁孔中心数据在经过拟合后，最终得到的是平衡状态下锁孔中心在像素坐标系中的坐标(xc , yc)，如图5 所示，则在测距之前，需要基于内参数矩阵先将拟合点坐标转换到图像坐标系中（转换结果为(xc-u0 , yc-v0)），再利用式（7）进行视觉测距。
在起重机作业过程中，控制系统分别控制大、小车运行，因而需要对摄像机中心到拟合锁孔中心的横、纵向的距离分别进行测量，即L p 分别对应拟合点到光心点的成像长度在图像坐标系中各坐标轴上的投影，可表图 5 像素坐标与图像坐标转换示意图示为
式中：L px、L py 分别为对应方向上的成像长度，n x、n y 分别为对应方向上的像素个数（即经坐标转换后对应方向上的坐标），d x、d y 分别为对应方向上的像元尺寸。结合以上测距所需参数并根据式（7），便可定位摄像机中心到拟合锁孔中心的距离。
3 实验如图6 所示，本节使用1:15 起重机和集装箱模型采集视频流进行模拟实验。其中，摄像机与起重机吊具的相对安装位置如图2 所示，采集视频流的图像尺寸为960×540。实验之前，预先分别对两个摄像机进行参数标定，并利用标定结果对实验中所采集的图像进行去畸变处理。
为了准确地得到摄像机中心与拟合锁孔中心的相对距离，消除因摄像机安装角度、吊具与集装箱平行度等系统偏差的影响，实验中需要率先标定系统偏差，再进行定位测距。系统偏差标定流程：在起重机吊具处于平衡状态下，首先采集集装箱图像，再利用测距算法测量摄像机中心与锁孔中心的距离，最后将测距结果与实际值的偏差作为系统偏差，偏差标定结果如表2 所示。
图 6 1:15 起重机和集装箱实验模型
完成系统偏差标定后，移动起重机具至另一位置并分别在横、纵向对吊具施加一定载荷模拟吊具摆动。在采集对应视频流后，首先使用张军等[9] 的集装箱锁孔中心追踪及定位方法定位视频流中的锁孔中心位置，再结合本文的连续性整周期单维度费马点拟合方法和单目视觉测距方法测量摄像机中心到拟合锁孔中心的相对距离，其测距结果如表3 所示。文中系统偏差标定及定位测距过程中起重机吊具与集装箱的相对位置关系如图7所示。
（a）系统偏差标定相对位置图
（b）定位测距相对位置图图 7 系统偏差标定及定位测距位置关系图
由实验结果可知：在对应方向上，摄像机中心与锁孔中心之间距离的最大误差为2.79 mm，因起重机吊具的尺寸固定不变，所以起重机吊具中心与集装箱中心的最大追踪定位误差半径也为2.79 mm。由于集装箱锁头呈锥形且模型中锁孔尺寸约8 mm×12 mm，因而在对位过程中，基本可以满足精度需求。
4 结论起重机吊具与集装箱能完成自动对位是实现自动化站场的关键技术之一。本文经过模拟实验，在基于视频流追踪并定位集装箱锁孔中心后，利用本文算法进行锁孔中心拟合及测距，结果表明整体思路可行，测距结果基本可以满足对位精度要求。但本文是以起重机模型进行模拟试验，其实验环境相对单一，并未考虑实际情况下复杂环境的影响，为了能够投入实际运用，还需进一步深入研究。
参考文献[1] 郑功怡. 集装箱自动化码头发展趋势分析[J]. 科技资讯,2016,(4):47-47.[2] 漆静, 程文明, 刘华森. 机器视觉用于集装箱吊具定位系统设计[J]. 起重运输机械,2019(15):110-114.[3] 马蕾. 基于双目立体视觉的集装箱识别与定位技术研究[D]. 成都：西南交通大学,2013.[4] 向毅, 江永清, 吴英, 等. 基于CMOS 图像传感器的嵌入式机器视觉系统[J]. 半导体光电.2008,(3):440-443.[5] Wu W, Liu Z, Chen M, et al. An automated vision system for container-code recognition[J]. Expert Systems with Applications, 2011,(3): 2 842-2 855.[6] Peng K C C, Singhose W, Bhaumik P. Using Machine Vision and Hand-Motion Control to Improve Crane Operator Performance[J]. Ieee Transactions on Systems Man and Cybernetics Part a-Systems and Humans, 2012, (6): 1 496-1 503.[7] 田洪. 中国首个集装箱全自动化堆场[ J ] . 港口装卸，2005(5):69-71.[8] Yoon H J, Hwang Y C, Cha E Y, et al. Real-time container position estimation method using stereo vision for container auto-landing system[J]. International Conference on Control,Automation and Systems (Iccas 2010), 2010: 872-876.[9] 张军, 刁云峰, 程文明, 等. 基于视频流的集装箱锁孔追踪及中心定位研究[J]. 计算机应用，2019(S2):167-171.[10] 高宏伟. 计算机双目立体视觉[M]. 北京：电子工业出版社，2012.[11] 刘延柱, 陈立群, 陈文良. 振动力学[M]. 北京：高等教育出版社，2019.[12] 李静爽. 关于求解费马点问题的多种方法探究与综述[J].教育教学论坛,2016(21):231-233.
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.