单手3个手指，看腾讯机器人如何花式调酒
4月25日，腾讯Robotics X实验室公布最新机器人研究进展，首次展示在灵巧操作领域的成果，推出自研机器人“灵巧手”TRX-Hand和机械臂TRX-Arm。
其中，拥有花式调酒才艺的“灵巧手”引人注目，它单手只有3个手指，却可与机械臂结合，快速、连续操作瓶子、杯子、搅拌棒等多种物体30多次，还可完成高难度的抛接、翻转等动态操作和插孔、穿刺、搅拌等精细操作动作。
六自由度工业机械臂上搭载腾讯自研“灵巧手”TRX-Hand，以及腾讯自主开发的感知与控制算法后，能顺畅地完成花式调酒的一系列操作动作。
软硬结合，让机器人像人一样“动手”
记者从腾讯了解到，“灵巧手”TRX-Hand和机械臂TRX-Arm的融合，并引入深度学习等前沿算法，提升机器人的灵巧操作能力和解决复杂问题的能力，让其更好地服务现实需求。
TRX-Hand拥有像人手一样灵活的操作能力，可适应不同场景，灵活规划动作，自主完成“操作”。
只有3个手指的“灵巧手”TRX-Hand为什么这么灵活？
从运动能力来看，得益于创新的刚柔混合驱动专利技术和自研高功率密度驱动器， “灵巧手”兼具高灵巧和高负载速度的特性，拥有8个可独立控制关节，自重仅1.16千克，最大持续指尖力可达15牛，最大关节速度不低于600度每秒，可轻松应对不同形状尺寸物体的抓取和操作，对高动态的抛接动作也游刃有余。同时，柔性驱动的指尖设计有效提升了手指的抗冲击能力。
在感知能力上，“灵巧手”在指尖、指腹和掌面均覆盖了自研的高灵敏度柔性触觉传感器阵列，掌心处安装有微型激光雷达和接近传感器，同时每一个关节均集成了角度传感器，保证“灵巧手”在抓取和操作过程中能准确地感知自身与物体状态信息。
机器人是一项综合性的技术，不仅对本体和传感器等硬件有着极高的要求，软件算法也是机器人的核心要件。
据腾讯研究人员介绍，花式调酒机器人是在六自由度工业机械臂上搭载“灵巧手”TRX-Hand以及自主开发的感知与控制算法后，让机器人能够顺畅地完成一系列操作动作。
以针对抓放物体与倒水等常规动作为例，首先要基于视觉和触觉对物体进行实时识别与定位，利用在线规划算法，让机器人能够计算出臂手的最佳构型与安全运动轨迹。
随后，在执行中利用手上3种传感器进行自适应调整，进一步保证动作执行的精度与可靠性，同时借助机械臂末端六维力传感器感知与环境的交互力，避免猛烈碰撞。这样才能保证机器人抓得稳、放得轻、倒得准。
花式调酒使用的工具包括涉及瓶子、杯子、搅拌棒等，还涉及插孔、穿刺、搅拌等精细操作动作，如何让机器人的“双手”在高速运动的同时保持协同，以免操作失误、损伤被操作物体甚至机器人本身？
在调酒的过程中，腾讯Robotics X实验室展示的机器人结合视触觉融合的手内物体姿态估计与基于机械臂末端力传感信号的力位混合控制，实现了酒瓶与摇酒器高速旋转倒酒、大小摇酒器相扣摇酒等双手协同动作。
本次展示中，腾讯Robotics X实验室还让机器人顺利完成“抛接”等高难度的动作，这类动作对实时性要求极高，感知或执行上的细微误差都会导致操作失败。
研究团队在这一过程中创新性地提出了基于机器人本体感知的抓抛过程建模与物体飞行轨迹预测方法，有效弥补传统视觉算法在短距离、强遮挡、高动态操作场景下的局限性，实现了高精度、高时效的抓抛物体飞行轨迹预测。
此外，团队还提出了飞行物体的最优拦截时间、最优拦截位姿与最优拦截轨迹的计算方法，以动作持续时间、机器人运动能量以及与物体的接触力为优化目标，能在数毫秒内完成计算，实现对快速飞行物体的平稳拦接。
在搅拌棒插孔和使用签子插葡萄的任务中，不锈钢搅拌棒和金属签子都是无纹理、高反光的细长物体，搅拌棒直径8mm，与孔直径相差仅1mm，签子直径不足2mm，这给物体的识别与定位带来不少挑战。特别是搅拌棒在经过一系列搅拌动作后并不一定停留在原来的手内位置，其在接近孔时会对孔造成遮挡，它的反光表面更会倒映出孔造成视觉的混淆。
对此，研究团队在仅依靠机器人头部相机的条件下，通过对物体间相对位置的估计，并融入触觉感知，获得了稳定的搅拌棒、孔和签子的识别与定位。
此外，通过力觉感知到插孔失败后能抬起手臂再次尝试，通过几次试探使搅拌棒逐渐接近真实孔位、确保完成插孔操作，展示了机器人能实时感知任务状态，识别失败并自主调整策略，最终成功完成任务的调整和容错能力。
演示中，机器人以指尖抓住一根细长的搅拌棒，先以臂手协同的方式大力搅拌杯子里的液体，然后静止手臂，以纯手指运动的方式平滑柔顺地搅拌，其中后者的手内操作结合了深度强化学习和sim2real等技术，使用了指尖传感器实时反馈接触状态，生成3个手指的协同运动，同时对搅拌棒施加合适的力，在保证搅拌棒不掉落的前提下，驱动搅拌棒按期望轨迹搅拌杯子里的液体，展现机器人的灵巧操作能力。
“灵巧手”将与机械臂融合，更好地服务现实需求
4月25日，腾讯自主研发的高性能七自由度拟人机械臂TRX-Arm也首次对外亮相。它针对人居环境自主研发，拥有七自由度和拟人的特性，具有运动灵巧、爆发力强、触控一体以及柔顺安全等特点。
一般来说，机器人技术根据“智能程度”可分为三个阶段：只能完成固定命令的程序机器人、能够感知周围环境的自适应机器人、能够自主学习和决策的智能机器人。
常见的工厂流水线机械臂以及拉面机器人等即属于第一阶段，它们只能在单一的场景内重复固定的动作。
具备灵巧操作能力的机器人则属于第二和第三阶段。想要在各类场景里灵活操作物体，机器人必须能感知环境、理解物体、评估状态、预测行为并自主规划完成物体操作，这意味着机器人要具备丰富的感知、强大的决策与可靠的执行能力。
不同于传统的协作型机械臂，TRX-Arm采用了绳索传动与差分驱动相结合的方式，不仅有效降低了传动摩擦和运动惯量，还实现了多电机多关节协同驱动，具有高动态运动的能力，其最大速度7.4m/s，最大加速度44.5m/s2，可负载6千克以上。
同时，其前臂集成了768点的触觉阵列，其刷新频率高达1000Hz，以此实现了酒瓶在滚动和平衡过程中的高频实时定位。
据腾讯研究员介绍，接下来腾讯Robotics X实验室将把继续推动自研机器人“灵巧手”TRX-Hand和机械臂TRX-Arm的融合，并引入深度学习等前沿算法，提升机器人的灵巧操作能力和解决复杂问题的能力，让其更好地服务现实需求。
记者了解到，腾讯 Robotics X 实验室致力于机器人前沿技术的研究，打造人机共存、共创和共赢的未来，此前已经推出多模态四足机器人Max和轮腿式机器人Ollie等多款自研机器人。未来，腾讯将继续探索机器人前沿技术，推动机器人技术在养老护理、居家服务、智能制造等领域的落地应用。
【记者】马芳
【作者】 马芳
【来源】 南方报业传媒集团南方+客户端