【讲座回顾】基于多模态数据的人本智能建造方法

导读

华南理工大学土木学科海外学者前沿讲座第六十七期，我们邀请到来自香港科技大学，土木及环境工程学系的助理教授于言滔为大家带来题为“基于多模态数据的人本智能建造方法”的报告。本期讲座录播链接见文末或点击阅读原文。

由于工作时间长、工作负荷大以及工作环境恶劣等原因，建筑工人的疲劳现象普遍存在，埋下安全与健康隐患。此外，受人口老龄化以及青年人择业偏好的影响，我国建筑业将面临严峻的劳动力短缺和老龄化风险。因此，建筑业劳动力的可持续发展成为一项重要课题。针对上述问题，于老师从工人行为感知和人机协作两个方面对此前的相关工作进行了介绍。

01

首先，于老师介绍了基于计算机视觉技术和压力传感器来评价工人的生理疲劳的工作。建筑工人长期从事高强度的体力作业，同时人口老龄化带来的劳动力缺失，因此如何提升现场工人的工作效率并降低受伤风险成为了一个关键问题，其中首要的就是对劳动者的体力疲劳程度进行评估。目前疲劳评价指标和数据采集方法还不够完善，因此于老师的研究工作主要围绕这两方面展开。整评估流程有4个步骤，首先通过计算机视觉技术采集工人的三维姿态数据，然后使用鞋底传感器来进行外力估算，接下来基于姿态和外力数据来计算关节受力情况，最终从生物力学角度对人体疲劳程度进行评价。

在姿态采集方面，相比于其他方法，基于IMU的采集方法无需布设大量摄像头，因此更适用于施工现场的姿态采集。在对得到大量的姿态数据进行数据投影后，构建了包含约68000条姿态数据库。然后通过建立深度学习网络来实现二维数据到三维数据的推理，以每一帧推理得到的三维关节数据的距离误差平均值作为评价指标，通过模型训练实现了三维数据的实时推算。

于老师采用鞋垫型压力传感器采集工人足底的压力分布进行外力估计，并开展试验证明了这种外力测量方法在施工现场的有效性。基于所测得的外力数据和姿态数据，可以推算工人关节所受的力矩。除了当前关节所受的力矩，根据工人的年龄、性别、身高和体重，可通过一个大数据样本公式估算工人关节所能承受的最大力，继而开展疲劳评价。在生物力学中，将肌肉或关节能承受的最大力的下降定义为肌肉疲劳，于老师根据这种定义的方法，进行肌肉疲劳的评价。

于老师进而开展实验室试验验证体力疲劳评价方法的准确性，现场试验验证方法的可行性。将所提出的方法与心率的评价方法进行对比，验证所提出方法是否能反映出体力疲劳的变化。根据搬运试验的结果，可以看出心率的变化曲线与所提出评价方法得到的曲线基本吻合。现场试验的任务包括搭脚手架和砌筑，基于现场的摄像头和鞋垫压力传感器，分析得到工人各个关节疲劳评价的数据，结果表明于老师所提出的方法能够对不同的关节进行持续的疲劳评估。

随后，进行基于疲劳评估的现场管理试验，验证施工现场的布置对肌肉疲劳评估的影响，在搭建脚手架的任务中，调整工作区域和材料存储区域的距离，疲劳程度会随着距离的调整出现变化。砌筑任务的现场试验也验证了休息时间规划和疲劳程度的关系。

于老师开展的关于疲劳评价的研究，旨在提出适用于现场施工数据采集方法的可量化个性化指标，验证该方法的有效性和准确性。基于试验结果，证明所提出的方法是有效的，该方法基于工人真正的施工数据和身高年龄等进行疲劳评估，具有一定的个性化；其次，该方法对工人的工作节奏没有要求，适用于施工这种非规律性工作，评价指标是量化的；另外，该方法提供了新型的施工数据，如工人比较准确和持续的三维姿态数据、工人的足底压力分布、工人的姿态受力等。最后，于老师也指出，该研究存在一定的缺陷，如数据样本较少、摄像机角度的限制、研究存在假设等。针对以上缺陷，于老师将在未来的研究方向上进行进一步的探索。

02

为解决建筑业、劳动市场可持续发展问题，提高工人职业健康水平和减轻工人劳动负荷，利用机器人进行智能建造可以实现高危作业、无疲劳问题、精度高和效率快的目标，但目前建筑机器人的作业类型单一，不能应对复杂动态施工环境。一个可行的思路是：人机协作能充分发挥机器人与人的优势，同时缓解当前土建行业从事人员面临的诸多挑战。因此于老师希望开发一种建筑人机交互模式，机器人能够预知工人作业的需求，在动态复杂施工过程中能够与工人自然地、顺滑地进行协同合作。建立这样的人机交互施工框架需要包括4个模块：感知任务Sensing 、学习动作Learning、推断决策Inferring和协同合作Doing。其中Learning和Inferring两个部分面临着很大的挑战，因为建筑业施工知识很难定义，施工工人的差异化和复杂动作难以被理解。

首先，需要明确的是人机沟通的传感方式，相比于传统的物理信号控制和语音传递模式的效率低和易受干扰的缺点，视觉传感具有明显的优势，因为目前视觉处理的人工智能方法非常成熟，以及视频路径可以给机器人提供丰富的学习数据。目前基于视觉的识别方法，可以被大致分类为基于数据和基于知识的；前者需要大量学习数据、泛化能力不稳定，后者依赖规则定义、搜索空间小；而将二者结合起来，一方面可以使机器人对施工数据的多样性有适应能力，另一方面可以利用先验知识缩小对观测数据的需求。其次，为了构建任务表示模型，可以选择扁平Flat模型和层级Hierarchical模型，后者更适于表示动态复杂建造任务，同时更契合施工管理模式。因此，于老师他们基于数据和知识双驱动方法建立了多层次任务原始学习-任务知识感知合作-行为预测的统一框架，并进行了搭建施工脚手架任务的试验，因为该施工操作是典型需要多工人合作的场景。将搭建脚手架任务划分为4个层次的子任务，构建多层次任务原始学习模型来识别多层次目标，进一步通过多层次网络的约束来修正识别误差，包括自上而下、自下而上、时序关系和区间约束；对于行为预测，则是采用贝叶斯原理和隐马尔可夫链通过先验和当前证据进行推断。最后，在试验中学习一个搭建脚手架的视频，于老师的数据和施工知识双驱动模型表现了很高的多层次任务识别准确度，这项研究也将进一步通过现场试验验证和发展。

总结

于老师从人本智能建造方法入手，探索了在劳动力资源紧张的当下建筑业如何实现可持续发展，具有很强的前瞻性。同时，计算机视觉技术、人工智能与生物力学的融合也为建筑工程背景下的学科交叉研究提供了新的思考方向。

END

更多内容请到于老师主页查看：

https://seng.hkust.edu.hk/about/people/faculty/yantao-yu

讲座录播链接：https://b23.tv/nPkGuQe

来源于多样化结构实验室VSL

排版 | 李嘉晨

审核 | 胡   楠