一种用于塔吊信号工的信号装置与信号传输方法

本发明属于信号装置领域，具体涉及一种用于塔吊信号工的信号装置与信号传输方法。

背景技术：

1、传统的塔吊在进行材料吊运及吊装时，随着施工进度的推进，建筑物的高度随之增高，塔吊进行材料吊运及吊装往往存在盲区；盲区作业需要塔吊司机及信号工完美配合才能做到吊运及吊装无误，但有时由于两者距离较远或者受到一系列干扰导致对讲机不能实时、清晰、完整地传达命令，导致塔吊司机无法准确及时地应对各种突发情况，给吊运及吊装作业带来极大的安全隐患。在此场景下，如何准确完整地识别、传送塔吊信号工指令显得尤为重要。

技术实现思路

1、针对现有技术中存在的上述技术问题，本发明提出了一种用于塔吊信号工的信号装置与信号传输方法，设计合理，克服了现有技术的不足，具有良好的效果。

2、为了实现上述目的，本发明采用如下技术方案：一种用于塔吊信号工的信号装置，包括三个摄像机、手势识别信号发送单元和塔吊车端信号接收单元；摄像机，被配置为用于获取塔吊信号工目标、位置以及手势特征数据；手势识别信号发送单元，被配置为用于实时将信号工的手势信号进行识别并将信号传送给塔吊车端信号接收单元；塔吊车端信号接收单元，被配置为用于接收手势信号，以方便塔吊司机进行相应操作。

3、优选地，塔吊车端信号接收单元，包括无线信号接收模块、无线信号识别模块、显示屏和语音播报模块；无线信号接收模块，被配置为用于塔吊接收来自手势识别信号发送单元传输的无线信号；无线信号识别模块，被配置为用于塔吊识别来自手势识别信号发送单元传输的无线信号；显示屏，被配置为用于实时显示塔吊信号工的手势；语音播报模块，被配置为用于实时播放塔吊信号工的手势。

4、优选地，三个摄像机分别设置在手势识别信号发送单元的左侧、上方和右侧；摄像机从三个不同方向拍摄记录塔吊信号工的同步视频信息，其所检测的视频内容包含塔吊信号工活动区域内的所有信息，利用世界坐标系对各个摄像机进行单独标定，并利用对极几何约束的方法对各个摄像机进行联合校准，能够准确定位和识别信号工手势。

5、优选地，手势识别信号发送单元采集以及标定塔吊信号工的目标、位置、手势特征数据后，形成数据集；采用空间分割的新框架优化knn算法即k最近邻搜索算法训练各个摄像机的识别检测，并在训练过程中采用基于距离度量的均方误差损失函数mse以提高识别精度，将识别后的塔吊信号工及信号工手势，通过无线传输传送给信号接收装置。

6、优选地，塔吊车端信号接收单元接收手势信号后按照缩放尺度系数将塔吊信号工投射在塔吊的显示屏中，塔吊的显示屏和语音播报模块分别实时显示和播报信号工手势的指挥提示语音，塔吊司机即能够按照指示进行操作，同时塔吊司机能够通过触控的方式对塔吊信号工的旋转和手势信息细节进行放大和缩小查看。

7、此外，本发明还提到一种用于塔吊信号工的信号传输方法，该方法采用如上所述的一种用于塔吊信号工的信号装置，包括以下步骤：步骤1：地面摄像机、手势识别信号发送单元和塔吊车端信号接收单元的布置及校准；步骤2：塔吊信号工目标、位置、手势特征数据的采集、标定、制作数据集；步骤3：塔吊信号工目标、位置确定及手势识别算法的训练；步骤4：塔吊车端信号接收单元识别信号工手势，并通过无线通讯技术传输给塔吊车端装置。

8、优选地，在步骤1中，在距塔吊安全距离的位置放置信号发送装置，三个摄像头分别安装在信号发送装置的上方、左侧和右侧，信号发送装置正前方2m×2m的区域设为塔吊信号工的活动区域。

9、优选地，在步骤2中，利用地面摄像机拍摄塔吊信号工不同视角下的同步的视频，将视频作为训练的数据集；训练的数据集标注基准如下：a)定义塔吊信号工坐标系；塔吊信号工初始站立位置设为原点，目视方向为y轴正方向，垂直于x轴的右臂伸展方向为x轴正方向，垂直于x、y轴平面向上的方向为z轴正方向；b)标注塔吊信号工类别；标注时的分类有：塔吊信号工安全帽；识别塔吊信号工手势前要正确识别信号工目标，将塔吊信号工按是否佩戴塔吊信号工安全帽为特征，将佩戴塔吊信号工安全帽的塔吊信号工目标标注为信号工类别，同时对塔吊信号工朝向进行镜像标注，信号工朝向和手势共同决定指挥方向；c)标注塔吊信号工手臂关节点和手指关节点；塔吊信号工的指挥手势由左右手臂共同完成，即只对塔吊信号工每个手臂的10个手指关节点，1个腕关节点，1个肘关节点和1个肩关节点标注，每个摄像机检测到的每个关节点都包含三个维度坐标信息，手指关节点(f1…f10)坐标(fx1,fy1,fz1)…(fx20,fy20,fz20)，腕关节点w坐标(wx1,wy1,wz1)(wx2,wy2,wz2)，肘关节点e坐标(ex1,ey1,ez1)(ex2,ey2,ez2)和肩关节点s坐标(sx1,sy1,sz1)(sx2,sy2,sz2)，所有关节点形成一个点集合列表points，所有关节点连接成线lines，形成一个骨骼标注列表；先求出信号工各个关节点和传感器之间的距离，然后通过自己建立的世界坐标系，利用相似关系即得到信号工各个关节点在三维空间的真实位置；d)标定塔吊信号工的手势；根据实际塔吊信号工的不同手势，为不同手势进行分类标定，用于不同手势识别的训练。

10、优选地，在步骤3中，采用空间分割的新框架优化knn算法训练各个摄像机的3d关节点检测，knn算法就是在目标点附近搜索距离最近的k个点；首先，定义一个预定的搜索范围（rin），在该范围内，确保能够搜索所有的节点；对点集进行分割获得边长等于rin的一组三维空间；如果一个三维空间包含太多点，则设置一个阈值tmax，将三维空间分割为若干个子空间；其次，构建一种新型的关节点数据结构；通过遍历所有点找到一个边界框，将每个轴上的最小范围（lowerbound）和最大范围（highbound）计算为点云的aabb（坐标轴对齐包围盒）；；；其中，xmax，ymax，zmax为关节点坐标的最大值；xmin，ymin，zmin为关节点坐标的最小值；并将aabb分割成一组空间vs；；；其中，vsx，vsy，vsz为每个轴的空间数；rre为空间边长，rre≥rin；为每个空间分配一个索引vp以及定义一个哈希函数hash(p)；；；其中，voxel(p)为空间中任意一点；vpx，vpy，vpz为索引坐标；通过以上过程，能够计算包含特定点的空间索引；当一个空间中的点数超过阈值tmax时，将其进一步分割为一组内部最多有k个点的子空间；来自不同摄像机的同一关节点通过三维坐标系测量计算塔吊信号工手臂在空间中的3d关节点信息；训练过程采用基于距离度量的均方误差损失函数mse，公式如下：；其中，为所有关节点空间真实坐标值，为所有关节点空间检测坐标值，n为采集次数，当mse≤0.01时停止采集。

11、本发明所带来的有益技术效果：1)本发明可使得存在视野盲区塔吊工人在无法及时获得塔吊信号工手势信息的状况下，能够实时获取信号工手势，立刻实时进行驾驶意图规划，可有效提升工作效率及安全性；2)本发明可将塔吊信号工及塔吊信号工手势识别为真值信息，在提升塔吊工作效率的同时，有效提升塔吊工作的安全性，本方法可在仅使用相机以及无线传输设备的低成本状况下完成所有相关检测、识别与传输任务。

技术特征：

1.一种用于塔吊信号工的信号装置，其特征在于：包括三个摄像机、手势识别信号发送单元和塔吊车端信号接收单元；

2.如权利要求1所述的用于塔吊信号工的信号装置，其特征在于：塔吊车端信号接收单元，包括无线信号接收模块、无线信号识别模块、显示屏和语音播报模块；

3.如权利要求1所述的用于塔吊信号工的信号装置，其特征在于：三个摄像机分别设置在手势识别信号发送单元的左侧、上方和右侧；摄像机从三个不同方向拍摄记录塔吊信号工的同步视频信息，其所检测的视频内容包含塔吊信号工活动区域内的所有信息，利用世界坐标系对各个摄像机进行单独标定，并利用对极几何约束的方法对各个摄像机进行联合校准，能够准确定位和识别信号工手势。

4.如权利要求1所述的用于塔吊信号工的信号装置，其特征在于：手势识别信号发送单元采集以及标定塔吊信号工的目标、位置、手势特征数据后，形成数据集；采用空间分割的新框架优化knn算法训练各个摄像机的识别检测，并在训练过程中采用基于距离度量的均方误差损失函数mse以提高识别精度，将识别后的塔吊信号工及信号工手势，通过无线传输传送给信号接收装置。

5.如权利要求2所述的用于塔吊信号工的信号装置，其特征在于：塔吊车端信号接收单元接收手势信号后按照缩放尺度系数将塔吊信号工投射在塔吊的显示屏中，塔吊的显示屏和语音播报模块分别实时显示和播报信号工手势的指挥提示语音，同时塔吊司机能够通过触控的方式对塔吊信号工的旋转和手势信息细节进行放大和缩小查看。

6.一种用于塔吊信号工的信号传输方法，其特征在于：采用如权利要求1所述的一种用于塔吊信号工的信号装置，包括以下步骤：

7.根据权利要求6所述的用于塔吊信号工的信号传输方法，其特征在于：在步骤1中，在距塔吊安全距离的位置放置信号发送装置，三个摄像头分别安装在信号发送装置的上方、左侧和右侧，信号发送装置正前方2m×2m的区域设为塔吊信号工的活动区域。

8.根据权利要求6所述的用于塔吊信号工的信号传输方法，其特征在于：在步骤2中，利用地面摄像机拍摄塔吊信号工不同视角下的同步的视频，将视频作为训练的数据集；训练的数据集标注基准如下：

9.根据权利要求8所述的用于塔吊信号工的信号传输方法，其特征在于：在步骤3中，采用空间分割的新框架优化knn算法训练各个摄像机的3d关节点检测，knn算法就是在目标点附近搜索距离最近的k个点；

技术总结

本发明公开了一种用于塔吊信号工的信号装置与信号传输方法，属于信号装置领域。首先，利用高清摄像机对塔吊信号工的手势图像进行采集，通过图像处理对关节点进行标注并通过三维坐标系计算关节点的信息；其次，使用K最近邻搜索算法对点的坐标进行识别与分类，提出一种空间分割的方法对关节点进行划分，保证识别分类过程的高效性；最后，为实现信号传输的实时性，描述了将该检测装置布置在现场可编程门阵列上的部署方法。本发明能够实时获取信号工手势，立刻实时进行驾驶意图规划，可有效提升工作效率及安全性；本发明可将塔吊信号工及塔吊信号工手势识别为真值信息，在提升塔吊工作效率的同时，有效提升塔吊工作的安全性。

技术研发人员：朱淑娟,冯庆,潘正祥,陈建铭,吴祖杨

受保护的技术使用者：山东科技大学

技术研发日：

技术公布日：2024/1/11