周其洪教授团队：基于机器视觉的细纱接头机器人纱线断头定位方法

基于机器视觉的细纱接头机器人纱线断头定位方法

周其洪, 彭轶, 岑均豪, 周申华, 李姝佳

作者单位：东华大学机械工程学院、东华大学数字化纺织服装技术教育部工程研究中心、广州盛原成自动化科技有限公司

引文格式：周其洪, 彭轶, 岑均豪, 等. 基于机器视觉的细纱接头机器人纱线断头定位方法[J]. 纺织学报, 2022, 43(5): 163-169.

ZHOU Qihong, PENG Yi, CEN Junhao, et al. Yarn breakage location for yarn joining robot based on machine vision[J]. Journal of Textile Research, 2022, 43(5): 163-169.

研究背景

纺纱是纺织产业链的重要工序之一,环锭纺纱以其生产品种范围广、纺纱质量优良等特点得到了广泛应用。据统计,我国纺纱总产量中,环锭纺纱产量占到了85%。近年来,环锭细纱机技术正变得更加高速化、品种宽广化、自动化和智能化,但细纱断头问题仍然是目前制约细纱机生产效率的主要问题之一,在环锭纺纱行业,接头工作大都由人工完成,存在效率低,劳动强度大等问题。

近年来,图像处理与机器人技术得到了极大的发展,相关的硬件性能也不断提升,在各领域都得到了广泛的应用。这些成功案例也为机器视觉技术应用于细纱接头机器人创造了技术和硬件条件。结合环锭纺纱机工作空间紧凑的特点及接线动作灵活性的需求,利用视觉技术配合工业机器人实现接线动作。首先利用机器视觉技术实现纱线断头的定位,定位完成后,再引导机械手进行抓取,该方法不仅能够减少纱线与设备产生的接触摩擦,减少纱线被污染,同时也可以简化装置的机械结构,提高系统的自动化、智能化水平,对接头机器人的整机设计具有重要意义。本文在前期研究的基础上,提出了利用机器视觉技术进行纱线断头的识别与夹取的方案。通过工业相机采集纱线图像,开发了基于图像处理的纱线识别及定位专用算法,可以准确提取纱线的位置和角度信息,为机械手的夹取奠定基础。

研究内容

接线过程中,接头机将出现断头的纱筒从细纱机的锭子上取出之后,控制纱筒自转,负载装置工作产生负压,通过吸嘴将纱线断头吸入,并控制纱筒移动至离吸嘴10 cm处,同时使纱线紧靠定位柱。实验装置示意图如图1所示。相机位于纱线一侧并正对纱线,机械手处于另一侧。由于纱线断头在纱筒上的位置未知,纱线被吸入吸嘴后位置也并不固定,通过机器视觉技术实现对纱线的定位,机械手根据定位信息夹取纱线,之后进行后续接线动作。

图1  装置示意图

注:1—机械手; 2—黑色挡板; 3—纱筒; 4—相机;5—光源; 6—纱线; 7—定位柱; 8—吸嘴。

图2为机器人基坐标系Y方向上的正视图。令机械手末端执行器的夹取点为ui与纱线的交点,利用图像处理算法求出夹取点q(ui,vi)以及纱线与像素坐标系U轴正方向的夹角α,通过公式可求得机械手的目标位姿信息,传入机械手的位置寄存器引导机械手进行夹取。

 

图2  定位原理图

被吸入吸嘴的纱线稳定之后,通常情况下会趋于一条直线,但由于装置工作过程中引起的纱筒以及吸嘴抖动、吸嘴与纱筒之间的风场不稳定等原因,纱线会出现抖动的现象,结果如图3所示。可知,纱线在无抖动的情况下,特征较为明显,易于识别,在图3(b)所示纱线存在抖动的情况下,纱线特征不明显,会出现弱边缘特征。纱线的识别与定位精度对后续机械手的夹取至关重要。为保证算法的可靠性,本文以纱线抖动时的状态来进行纱线的识别与定位算法研究,该算法同样适用于对无抖动的纱线的定位。

图3  纱线状态图

在对图像进行处理前,提取感兴趣区域(ROI)可有效减少图像处理的复杂度。理论上,ROI的区域越小,图像处理的速度越快,但也会导致关键特征信息的丢失。相机的拍摄视野固定,同时考虑最大程度保留纱线有效信息,ROI的左右两侧分别选取左右定位柱的边缘向中间偏移5像素,上下两侧分别选取纱筒的上下边界,由此确定出ROI区域。

相机采集到的图像为包含了R、G、B三通道的彩色图像,处理时,需要对3个通道进行运算,时间消耗大。由于本文中纱线检测只需要形态学信息,为提高图像处理的效率,先将彩色图像转换为灰度图,再进行后续处理。由于纱线较细以及光照不匀等因素,背景为黑色时,部分纱线特征尤其是波动状态下的纱线在图像中会呈现出灰白色,不利于后续的边缘检测,因此需要对图像进行灰度增强,增大纱线与背景的对比度。系统在不同位置工作时,图像的背景环境是存在变化的,本文采用可适用于不同背景环境的改进灰度增强算法,以获得更好的图像增强效果。

图4示出改进灰度增强过程图。可看出,经过改进灰度增强算法处理后,纱线特征与背景的对比度明显提高,纱线特征更加明显,同时抑制了噪声。

图4  改进灰度增强过程图

图5示出阈值分割和Canny检测对比图。阈值分割是常用的图像分割方法,可有效去除图像中的无效信息,但在处理图5(a)纱线抖动图像时,由于纱线抖动部分颜色较浅,属于弱边缘,难以与背景实现有效分离。经过二值化分割之后,损失了大量纱线特征信息,因此采用Canny边缘检测来最大限度保留纱线信息,见图5(c)。

图5  阈值分割和Canny检测对比图

经过边缘检测后的纱线具有明显的直线特征,霍夫变换是常用的直线检测算法,具有很好的鲁棒性,本文选择霍夫直线检测算法进行纱线特征的提取,霍夫变换的原理如下。

在直角坐标系下,直线的斜截式方程为y=kx+b,得到霍夫变换示意图如图6所示。图中r为原点到该直线距离,θ为原点到直线的垂线与X轴正方向的夹角,0<θ<π。将参数k、b用r、θ来表示,有k=-cosθ/sinθ,b=r/sinθ，经过变换,斜截式可转化为霍夫空间下的参数方程:r=xcosθ+ysinθ。因此对于图像上的任一像素点(x0,y0),代入上述参数方程,可得到1个正弦曲线,曲线上的每个点都代表1条经过(x0,y0)的直线。当霍夫空间下多条曲线相交于一点时,表明这些点可能为1条直线。

 

图6  霍夫变换示意图

通过上述原理可知,霍夫直线检测的缺点在于角度检测范围广,并且需要将参数坐标转换到直角坐标系下,计算量大。理论上进行检测的角度步长越小,检测直线的精度越高,但会导致占用较多的资源,耗时长。

如霍夫变换原理所述,本文结合实际图像的特点,对霍夫变换直线提取进行优化。纱线被吸入吸嘴中,以吸嘴中心轴线为界,上侧和下侧的θ角是在有限范围内进行变化的,如图7所示。将图像分为上下2个ROI区域,上侧区域在θUmax和θUmin之间变化,下侧区域在θDmax和θDmin之间变化,进行霍夫变换直线检测时,可通过不检测这2个区间之外的角度来提高程序运行效率,减少运算时间。

图7  上下ROI区域θ角极限位置示意图

本文实验根据图7所示原理进行摆放纱线断头的位置,收集纱线在极限位置和非极限位置下的图像,通过处理图像收集纱线特征在上下ROI区域内的r和θ参数。上下ROI区域内随机选取7个图像的r和θ参数,结果如表1所示。通过对所得数据进行分析以及考虑容错性,确定上ROI区域的θUmax和θUmin范围为(35°,95°),下ROI区域的θUmax和θUmin范围为(85°,145°)。

表1 ROI区域r和θ参数表

本文以感兴趣区域图像原点沿U轴偏移140像素作为ui求取坐标点进行实验,部分处理结果图像如图8所示,图中白点表示坐标点。

 

图8  部分纱线图像坐标提取图
系统的实时性非常重要,由霍夫直线检测角度范围确定可知,与传统算法每个边缘点的检测角度为0°~180°相比,基于本文的优化纱线边缘直线检测算法(OHT)通过划分上下2个ROI区域使得2个区域的检测角度均减小到大小为60°的区间内,降低了霍夫运算的复杂度,程序运行时间得到了缩短。OHT与传统的直线拟合在完成预处理之后,进行纱线定位步骤的耗时对比以及算法总耗时如表2所示。可知,OHT在进行纱线定位时平均耗时为23 ms,直线拟合平均耗时高达478.6 ms,本文提出的经过优化的直线提取算法平均耗时为63.1 ms,总耗时在10-1s数量级上,具有较高的响应速度,算法计算效率高。

表2 算法总耗时

研究结论

本文提出利用机器视觉技术对细纱接头机器人的纱线断头进行定位的方法,并给出了图像识别与定位算法。首先基于改进的灰度增强方法增强纱线与背景的对比度,然后利用Canny边缘检测算法提取纱线信息,最后利用优化的霍夫直线检测配合定位算法实现对目标纱线的位置信息提取。实验证明,该算法能准确提取所需纱线位置信息,与手动标注的结果相比,坐标点误差为1.42像素,纱线与图像U轴正方向夹角α的误差为0.60°,程序整体平均运行时间在10-1s数量级上,实时性好,利用机器视觉技术实现纱线定位应用于细纱接头机器人以及为细纱接头机器人的进一步完善开发提供参考。