您的位置:主页 > 产品 > 正文

解读英伟达芯的雷达手势识别

发布时间:2019-09-08 作者:admin 来源:未知

  【嵌牛导读】:在2016年的谷歌I/O大会上,谷歌低调展示了数款高科技硬件产品。其中有超炫的雷达芯片——Project Soli。它采用微型雷达来捕捉细微的手势动作,实现对硬件的操控。

  【嵌牛提问】:雷达手势识别能干什么?如何实现雷达手势识别?已经有哪些应用?

  【嵌牛正文】:这种雷达芯片可以隔空操作智能手表,可以取代触摸屏隔空操控手机,可以取代触控板操作电脑,甚至已经有开发者实现隔空打字的功能!它还可以用在VR中进行交互,取代手持设备得到更好的游戏体验。相比于当前流行的二维触屏系统,它的控制手势是三维立体的,所以显得更加直观,更加生动,再加上利用了“电磁波”这只看不见的手来操控,颇有些魔术效果。

  Project Soli由两个芯片组成,一个是微型雷达传感芯片,一个是主控芯片。其中雷达传感芯片内置了天线mm大小。雷达的电磁波发射频率是60GHz,波长为5mm,该芯片可以识别5cm-5m的细微手势,操控距离限制在15m内,并且具有180°的视角。下图展示了两款芯片的大小,最左边是主控芯片,中间是雷达传感芯片。

  与初代Project Soli相比。新一代的ProjectSoli主控芯片与英飞凌合作设计,功耗降低了22倍,从1.2W降低到了0.054W。新的雷达传感芯片效率更是提高了256倍,并且可以实现每秒18,000帧的扫描。这让该项技术应用在智能手表上成为可能。下图展示了几种操控的手势:

  谷歌的ProjectSoli采用了雷达成像原理,采用了60GHz频段的毫米波,波长为5mm。采用毫米波好处在于,相比于微波(0.3G~30GHz)的波段几乎已经被各种无线应用占据,比如WIFI,蓝牙,无线通信,AM、FW无线广播等。毫米波本身免授权、免付费、及未被大量采用,换句话说,不需耗费申请时间及费用,即可使用该频段。Wireless HD及IEEE802.15.3c皆属毫米波无线GHz。

  雷达主要利用无线电波的反射来进行成像。通过计算从天线发射无线电波,到天线收到反射波的延时,可以得出物体的位置。通过比较发射波与反射波的波长变化(多普勒频移),可以计算出物体的速度。当物体靠近雷达运动,其反射波的波长会变短;当物体远离雷达运动,其反射波的波长则会变长。物体的速度越大,波长的变化也越大。这样,通过对比发射波和反射波,就得到了物体的位置和速度,也就可以精细地捕捉物体的运动。

  采用毫米波雷达做手势识别,难点在于雷达传感器芯片设计,其中又包括MMIC芯片(单片微波集成电路)和天线)前端MMIC芯片:它包括多种功能电路,如低噪声放大器(LNA)、功率放大器、混频器、甚至收发系统等功能。具有电路损耗小、噪声低、频带宽、动态范围大、功率大、附加效率高、抗电磁辐射能力强等特点。毫米波雷达的关键部件前端单片微波集成电路(MMIC)技术由在国外半导体公司掌控,而高频的MMIC只掌握在英飞凌、飞思卡尔等极少数国外芯片厂商手中。

  (2)雷达天线高频PCB板:毫米波雷达天线的主流方案是微带阵列,简单说将高频PCB板集成在普通的PCB基板上实现天线的功能,需要在较小的集成空间中保持天线足够的信号强度。

  Google Project Soli的毫米波雷达通过RDM(RangeDoppler Map,距离-多普勒映射)算法获得目标信息。谷歌并没有公布Project Soli的设计细节,但笔者发现,英伟达设计的一款基于FMCW(调频连续波)技术的毫米波雷达手势识别芯片系统,同样使用了毫米波雷达技术,也采用英飞凌的MMIC射频解决方案。更巧的是,RDM算法也被应用在其中,应该相当具有参考价值。

  该系统设计目标是用于车内手势识别,操作距离为1m之内。中心频率为25GHz的毫米波,频宽4GHz,距离分辨率是3.75cm。具有4D测量的功能,可同时测量物体的三维位置和运动速度,水平视角为±45°,垂直视角为±30°,检测速度不高于1.5m/s。该系统的设计原型由微控制器,模拟电路,雷达射频芯片和4路天线路接收天线路发射天线。下图是该系统的设计原型,粗糙了点,但是能用:

  该系统的MMIC前端系统采用英飞凌的BGT24MTR2芯片,主控制器采用德州仪器的Cortex M4F微处理器。模拟端的采样频率为40KHz,采用8bit模数转换,锯齿波生成器采用500Hz的输入源输送给VCO(压控振荡器)单元,通过串口连接PC主机做信号处理和手势识别算法,系统采用USB供电,整个从机的功耗小于1W。整体架构如下图所示:

  1、雷达系统所发射的信号通过锯齿波函数进行调制后由天线进行发射,接收到手部的反射回波。

  2、对于锯齿波调制而言,由于因为回波延迟导致的频移和拍频(回波与发射波的频率差)被耦合在一起,通过RDM (Range Doppler Map,距离-多普勒映射)算法进行解耦:将发射波与回波相乘,然后进行低通滤波。

  3、得到的结果进一步离散采样,组织成矩阵的形式,其中矩阵的每一列包含单次扫描的节拍信号。

  4、然后再进行二维离散傅里叶变换,最后得到手部的位置延时和多普勒频移等信息,进而得到手部的位置和运动速度。

  得到了手部的位置图和速度图,就可以辨别出具体的手势动作及含义。下图展示了单手和双手手势识别效果图:每个手势最上面的图是雷达探测与手部深度图像的叠加图。雷达探测点的颜色代表手部该位置的变化速度。中间的RDM图是雷达的探测图,其中色块表示雷达探测到的物体,由于人手部是非刚性的,所以看起来像是一堆小物块。最下面的合成图展示了整个手部的动作,颜色跟速度对应。

  二者区别在于谷歌的是60GHz频段的毫米波,而英伟达采用的是25GHz的毫米波;在天线设计和PCB设计上会有一些不同;再者英伟达的这款只是原型设计,其数字信号处理主要依靠PC端的处理能力,这当然不可能集成到嵌入式系统当中。

  而谷歌则采用了专用的芯片来做数字信号处理,所以可以做到超低功耗,并提高性能,达到嵌入式可穿戴智能设备的使用需求。

  目前Project Soli仍处于开放研发阶段。谷歌声称将在2017年推出版本的硬件。可以预见的是,在明年的开发者大会上,我们将会看到更加成熟的雷达手势控制芯片以及配套的软件系统,如果其成本可以降低下来,或许那个时候,新的交互时代将会来临。




上一篇:9月自由行价格“跳水” 西安人出境游最爱去泰国   下一篇:学界 浙江大学CSPS最佳论文:使用卷积神经网络的多普勒雷达手势


扩展信息 Expand Information
    幸运163 | 关于 | 产品 文章 | 新闻 | 返回顶部