亦成代刷网_刷快手评论点赞彩虹社区-快手热评业务

自助下单地址（拼多多砍价，ks/qq/dy赞等业务）：点我进入

点击上方“计算机视觉工坊”，选择“星标”

干货第一时间送达

论文：基于视觉和 IMU 的移动机器人手臂遥操作系统

相关视频、代码、论文地址：在公众号“计算机视觉工坊”，后台回复“视觉与惯性传感器”，可直接下载。

本研究提出了一种多模式移动远程操作系统，该系统由一种新颖的基于视觉的手势回归网络 (Transteleop) 和一种基于 IMU 的手臂跟踪方法组成。 Transteleop 通过低成本的深度相机观察人手，并通过图像到图像的转换过程，不仅生成关节角度，还生成配对机器手姿势的深度图像。 基于关键点的重建损失探索了人手和机器手在外观和解剖结构上的相似性，并丰富了重建图像的局部特征。 随身携带的摄像头支架可实现同步手臂控制，并促进整个远程操作系统的移动性。 测试数据集上的网络评估结果以及超越简单拾取和放置操作的各种复杂操作任务显示了多模式远程操作系统的效率和稳定性。

1.研究问题

拟人化机械手的远程操作来执行灵巧的操作仍然是一个挑战。 基于无标记视觉的远程操作具有成本更低、侵入性更小的强大优势。

问题a：由于机器人手和人手占据两个不同的领域，如何补偿它们之间的运动学差异在无标记视觉遥操作中起着至关重要的作用。

问题 b：遥控操作员的手应该停留在摄像头系统的有限视野内。 这种限制使操作员无法执行需要宽阔工作区域的操作任务。

2.解决方案

解决方案 a：提出了一种称为 Transteleop 的新型基于视觉的遥操作方法，该方法基于图像到图像的转换方法提取配对的人手和机器手之间的连贯姿势特征。 Transteleop 将人手的深度图像作为输入，然后估计机器手的关节角度，并生成机器手的重建图像。 本着监督学习的精神，为了增强从图像翻译结构中提取的特征的丰富性，研究人员设计了一种基于关键点的重建损失，以关注手部关键点周围的局部重建质量。

方案b：为了实现真正的可移动手臂遥控系统，研究人员开发了一种摄像头支架，将摄像头安装在人体手臂上。

三、研究目标

构建一个移动机械臂遥控操作系统，遥控操作员可以在无限的工作空间中进行自然的手部动作，以完成一系列的操纵任务。 为了构建这样一个系统，研究人员开发了一种基于视觉的新颖方法来远程操作拟人手，并利用基于 IMU 的设备同时控制手臂。 假设 IH 是一个人的图像，展示了深度相机观察到的操作任务的手部姿势。 视觉部分旨在训练输入IH并预测机器人关节角度Jhand的神经模型空间机器人及其遥操作，而IMU部分则旨在将人手臂的绝对运动映射到机器人手臂上。

四、具体研究方法

4.1 Transteleop的提出和使用

根据机器人和人的共享姿态特征Zpose，可以得到Jhand（机器人关节角）。 文章采用从图像IH映射到图像IR的生成结构，并从该结构的瓶颈层中检索姿势作为Zpose。 网络结构如下图所示：

Encoder-Decoder Module：编码器从不同角度获取人手 IH 的深度图像，并发现人手和机器手之间的潜在特征 Zpose。 研究人员使用了六个卷积层和四个下采样层以及两个具有相同输出维度的残差块。 因此，给定大小为 9696 的输入图像，编码器将计算抽象的 66512 维特征表示。 考虑到数据集中 IH 和 IR 的像素区域不匹配，我们使用全连接层而不是卷积层来连接编码器和解码器。

解码器旨在基于潜在姿势特征 Zpose 从固定视点重建机器手的深度图像。 全连接层将 Zpose 的特征连接到机器人特征向量 ZR。 接下来是四个带有学习过滤器的上卷积层和一个用于图像生成的卷积层。 与其他图像翻译不同的是，本文更关注局部特征（如指尖的位置）的准确性，而不是全局特征（如图像风格）的准确性。 研究人员设计了一个基于关键点的重建损失来捕捉手的整体结构，并专注于手的 15 个关键点周围的像素。 每个像素误差的比例因子取决于像素与所有关键点的距离，并认为每个关键点的八个邻居与关键点本身一样重要。

4.2 臂架设计

手臂相对较大的运动导致遥控操作员的手很容易从摄像机的视野中消失。 这个问题在这项研究中得到了解决，它使用了一种廉价的 3D 打印相机支架，可以安装在遥控操作员的前臂上。 因此，相机将随手臂移动。

由于相机位置的不确定性，采用惯性运动捕捉装置控制机器人的手臂，并将可穿戴设备的全局坐标系设置为平行于机器人的基础坐标系。 根据获取的旋转数据和机器人手臂的连杆长度，计算出机器人的手腕位姿。 通过将此姿势输入 BioIK 求解器来计算机器人手臂的关节角度。 此后，研究人员通过计算和缩放当前帧和前一帧所需关节角度之间的前馈关节差以及所需关节角度之间的反馈关节差来设置每个关节的角速度。

五、实验分析

输入深度图像是从原始深度图像中提取出来的，resize到9696。为了优化网络，研究中使用批量训练随机梯度下降法，应用Adam优化器，学习率为0.002，动量参数设置到 0.5 和 0.999，以及批归一化 (BN) 层和整流线性单元 (ReLU)。

1）网络框架比较

为了评估 Transtelop 是否可以学习指示性视觉表示，该研究将 Transtelop 与两种网络结构进行了比较：TeachNet 和 GANteleop。 为了展示机器人自身领域的回归结果，研究中训练了一个模型 Robotonly，它去除了 Transteleop 中的解码器模块，只提供机器人手的图像。 为了提供输入图像的空间变换功能，研究人员在 Transteleop 中加入了 STN 网络。

Transteleop 的回归性能和测试数据集上的四个基线使用手姿势估计中的标准指标进行评估： 最大关节角度误差低于阈值的帧的比例； b. 最大关节距离误差低于阈值的帧所占比例； C。 所有角度的平均角度误差。 结果如下图所示：

结果分析：

由于匹配的领域和相同的观点，Robotonly 模型在所有评估指标上都明显优于其他基线。 Transtelop 和 GANteleop 在最大关节角度以下的精度平均提高了 10.63%，高于 TeachNet。 研究人员推断，这两种图像到图像的转换方法都比 TeachNet 捕获了更多机器人的姿势特征。 另外，GANteleop之所以比Transteleop差，是因为GANteleop中的判别网络侧重于追求逼真的图像，弱化了对关节的监督。 对比Transtelop和没有STN的Transtelop，即使有STN网络，也没有明显的提升。 这表明额外的空间变换只为这项任务带来了很小的外观归一化效果，但并没有显着促进手部姿势到规范姿势的转变。 如上图 (c) 所示，所有方法的关节回归的绝对平均误差均低于 0.05 弧度，并且最高误差出现在拇指关节 5 上，因为人类拇指和阴影拇指之间存在较大差异。

2）实验操作设置：

系统地评估了四种类型的物理任务，并分析了一种多模型远程操作方法，涉及精度和功率控制、力和无力操作，以及双臂切换任务的分析。

机械臂调速频率为20Hz，人臂初​​始姿态始终与机械臂一致。 同时，机器人的手臂在每次任务中始终以几乎相似的姿势开始和结束，手部轨迹控制的频率设置为 10 Hz。 一名女性和两名男性测试人员参与了以下机器人实验，每项任务都是随机执行的。

1) 取放。 研究人员准备了两个测试场景：拿起一个薯片罐，将它放在同一张桌子上的一个红色碗里； 在桌子上挑选一个立方体并将其放在立方体的顶部。 第一种情况需要机械手掌握力量的技巧，第二种情况需要机械手精确的掌握技巧，并为远程操作者提供足够的工作空间。

2) 插入杯子。 三个同心杯应相互插入。 此任务检查精确抓取和释放的能力。

3) 推动物体。 研究人员为木块设定了一个随机的初始姿态，然后将木块推入指定位置。 此任务包含推动、滑动和精确抓取的挑战。

4) 武器交接。 左臂将一卷纸递给右手。 操作员还利用惯性可穿戴设备来控制 PR2 的左臂和左抓手。 此任务测试整个远程操作系统的协调性。 由于系统的移动性，人们可以面对面坐着，而不是与机器人平行，从而获得清晰的视野。

实验练习：操作员在实际测试之前对每项任务进行了五次非连续尝试的热身训练阶段。 对于拾取和放置等简单任务，操作员经过三次试验后表现良好。 但对于交接任务，遥控操作员更多地尝试适应手臂的相反方向操作。 每个任务由一名演示者执行五次。 下表为实验结果：

上表显示了远程操作员完成任务所需的平均时间和成功率。 完成时间是从机器人开始移动到回到初始位姿时计算的。 两个取放任务的高成功率和较短的完成时间，以及一个杯子插入任务证明了系统的精度和力保持能力。 与拾放任务相比，立方体比碗小得多，因此机器人需要更长的时间才能找到放置立方体的有价值的地方。 在推动任务过程中，机器人可以使用多个手指将积木快速推入目标位置。 但是，为了使推入误差小于5mm，操作者在处理砖的方向上花费了很长时间。 交接任务成功率低主要是由于左手抓手控制不精准，导致机器人不小心丢失了物体。 研究人员认为空间机器人及其遥操作，基于视觉的方法比基于 IMU 的方法更适合多指控制。

六、总结与未来工作

在本文中，将基于视觉的联合估计方法、Transteleop 和基于 IMU 的手臂遥操作方法相结合，提出了一种手臂隐形传态系统。

不足的研究和研究计划：首先，相机支架给操作者带来了额外的负担，这在长期的远程操作中是不舒适的。 其次，在研究中缺乏手势控制，因此一些高精度的任务，如开瓶和拧紧螺丝，对于当前的系统来说仍然是棘手的。 因此，研究人员计划收集一个手部运动数据集，该数据集更多地关注拇指、无名指和中指的细微手势。 最终，研究人员希望通过滑动检测和力估计来减轻用户的控制负担，避免机器人意外碰撞。

备注：作者也是我们《3D视觉从入门到精通》的特邀嘉宾：