短程雷达传感器成功集成到Pixel 4和Pixel 4 XL设备中

经过优化后的Pixel 4和Pixel 4 XL易于使用，而实现这一目标的关键功能是Motion Sense，它使用户能够无需触摸设备即可通过多种方式与Pixel互动。例如，借助Motion Sense，您可以使用特定的手势来更改音乐曲目或立即使来电静音。另外，Motion Sense还可以检测您何时靠近手机以及何时伸手可及，从而可以通过预测动作来使Pixel提供更多的帮助，例如通过注视相机以提供无缝人脸解锁体验时，有意降低铃声时的音量以将其消除，或者在不再靠近设备时关闭显示器以节省电量。

Motion Sense背后的技术是Soli，这是消费类智能手机中的第一个集成的短程雷达传感器，它可以促进与手机的近距离交互而不接触。下面，我们讨论Soli的核心雷达传感原理和基于雷达数据中识别人类活动的信号处理和机器学习（ML）算法的设计，以及我们如何解决一些集成挑战，以准备将Soli用于消费类设备。

设计用于运动感应的Soli雷达系统

雷达的基本功能是基于远程对象与无线电波的相互作用来检测和测量其特性。一个经典的雷达系统包括一个发射器，它发射无线电波，然后被其路径内的物体散射或重定向，其中一部分能量被雷达接收器反射回并拦截。基于接收到的波形，雷达系统可以检测物体的存在，并估计这些物体的某些属性，例如距离和大小。

雷达作为探测和测距技术一直在积极发展，并已有近一个世纪的历史了。传统的雷达方法设计用于检测大型，刚性，远距离的物体，例如飞机和汽车。因此，它们缺乏在消费者手持设备的要求内感测复杂运动的灵敏度和分辨率。因此，为了启用运动感应，Soli团队从头开始开发了一种新的小型雷达系统，集成了新颖的感应范例和算法，使得其可以专门用于对人机交互的细粒度感知。

经典雷达设计依赖于相对于目标尺寸的精细空间分辨率，以便分辨不同的物体并区分其空间结构。这样的空间分辨率通常需要较宽的传输带宽，较窄的天线波束宽度，以及大型天线阵列。

另一方面，Soli采用基于运动而非空间结构的，截然不同的传感范例。由于采用了这种新颖的范例，我们能够在Pixel 4中Soli的5 mm x 6.5 mm x 0.873 mm芯片封装中安装其整个天线阵列，从而能将雷达集成到手机的顶部。值得注意的是，例如，与光学成像传感器相比，我们开发了不需要形成目标空间结构的清晰图像的算法。因此，不会生成人的身体或面部的可区分图像，也不会将其用于“运动感应”状态或手势检测。

Soli依靠处理接收信号中的时间变化来检测和解决细微运动。Soli雷达发送60 GHz 频率调制信号，并接收附近物体或人的反射叠加。目标位置从一次传输到另一次传输的亚毫米级位移会引起接收信号中明显的定时偏移。在多次传输的窗口上，这些偏移表现为与物体速度成比例的多普勒频率。通过解析不同的多普勒频率，Soli信号处理管道可以区分以不同运动模式运动的物体。

下面的动画演示了不同的动作如何在处理后的Soli信号中展现出独特的运动特征。每个图像的垂直轴表示从传感器到顶部的距离或径向距离，从上到下增加。水平轴表示朝向或远离传感器的速度，中心为零，左侧对应于接近目标的速度为负，右侧对应于后退目标的速度为正。雷达接收到的能量被映射到这些范围速度维度中，并由每个像素的强度表示。因此，与弱反射目标相比，强反射目标相对于周围的本底噪声往往更亮。在这些距离-速度映射中，能量的分布和轨迹显示出一个人行走时有明显的差异，

在左图中，当人接近设备时，我们看到来自多个身体部位的反射出现在速度轴的负侧，然后当人停止靠近设备时，以零速度会聚在图像的顶部。在描绘伸手可及的距离的中间图像中，手从距传感器20厘米的静止位置开始，然后以负速向设备加速，最后在到达设备时减速至停止。与手相对应的反射从图像的中间移动到顶部，这与手在手势过程中从传感器到传感器的递减范围相对应。最后，第三张图片显示了一只手在设备上滑动，以负速度向速度轴左半边的传感器移动。

每个可分辨反射的3D位置也可以通过处理在Soli的三个接收器中的每个接收器处接收到的信号来估算。除了目标识别的范围和速度之外，还可使用此位置信息。

我们为Soli设计的信号处理流水线（processing pipeline ）包括定制滤波器和相干积分步骤的组合，这些步骤可提高信噪比，衰减和不必要的干扰，并使人的反射与噪声和杂波区分开。这些信号处理功能使Soli可以在消费者智能手机的限制范围内以低功率运行。

设计雷达的机器学习算法

在使用Soli的信号处理流水线来过滤和增强原始雷达信号之后，将得到的信号转换输入到Soli的ML模型中进行手势分类。这些模型已经过训练，可以以低延迟准确地检测和识别运动感应手势。

对任何运动传感技术都常见的空中手势进行分类，主要存在两个主要的研究挑战。首先是每个用户都是唯一的，并且以多种方式执行甚至简单的动作，例如滑动。第二，传感器范围内可能有许多无关的动作，看起来与目标手势类似。此外，当手机移动时，从手机中的运动传感器的角度来看，整个世界似乎都在移动。

为了解决这些挑战，需要设计定制的ML算法，该算法针对雷达信号的空中手势的低延迟检测进行了优化。Soli的ML模型由神经网络组成，这些神经网络使用了数千名Google志愿者记录的数百万个手势进行训练。这些雷达记录与来自其他Google志愿者的数百小时背景雷达记录混合在一起，其中包含在设备附近进行的一般动作。Soli的ML模型使用TensorFlow进行了训练，并进行了优化，可以直接在Pixel的低功耗数字信号处理器（DSP）上运行。这使我们即使在主应用程序处理器掉电的情况下也能以低功耗运行模型。

从概念到产品的Soli

Soli可以集成到Pixel智能手机中，主要是因为它的端到端雷达系统（包括硬件，软件和算法）经过了精心设计，所以可以在消费类设备的尺寸和功率限制内实现非接触式交互。Soli的微型硬件允许整个雷达系统安装在Pixel上边框的有限空间内，这是团队的一项重大成就。

实际上，2014年的第一个Soli原型就是台式机的大小。为了将整个雷达系统缩小到单个5.0 mm x 6.5 mm RFIC，我们将硬件创新与我们先前介绍的新型时间感测范例相结合，包括封装上的天线。Soli团队还介绍了几种创新的硬件电源管理方案，并优化了Soli的计算周期，使Motion Sense能够适应智能手机的功耗预算。

硬件创新包括将雷达系统从台式机原型迭代缩小到单个5.0 mm x 6.5 mm RFIC，包括封装天线。

为了将Soli集成到Pixel中，雷达系统团队与产品设计工程师紧密合作，以保持Soli信号质量。手机中的芯片放置以及芯片上方材料的Z形堆栈经过优化，可最大程度地提高通过玻璃的信号传输，并最大程度地减少来自周围组件的反射和遮挡。该团队还发明了定制信号处理技术，以使其与周围的电话组件共存。例如，开发了一种新颖的滤波器来减少音频振动对雷达信号的影响，从而可以在播放音乐时检测手势。此类算法创新可在多种常见用户场景中启用Motion Sense功能。

未来方向

Soli成功集成到Pixel 4和Pixel 4 XL设备中，首次证明了在日常移动消费设备中基于雷达的机器感知的可行性。像素设备中的运动感显示了Soli的潜力，它可以为显式和隐式交互带来无缝的上下文感知和手势识别。我们很高兴继续研究和开发Soli，以实现新的基于雷达的传感和感知功能。