传统的混合现实头显通常依靠外感知传感器数据来追踪设备轨迹，例如视觉追踪数据和GPS数据等。但在一系列的环境中，外感知能力无法应用、不可靠或不精确。所以，众多混合现实设备依赖于仅由内感知传感器提供的处理数据来估计设备轨迹。

航位推算是一种可用于确定设备位置的过程，不需要采用外部感知传感器数据。具体来说，在知道当前时刻位置的条件下，航位推算法可以通过加速度计、数字罗盘、陀螺仪来测量移动的距离和方位，然后推算下一时刻的位置。

航位推算算法最初用于车辆和船舶等的航行定位，但随着微机电系统技术的发展，以及加速度计、数字罗盘、陀螺仪在尺寸、重量和成本方面的大大降低，航位推算开始逐渐普及到其他用例，比如说混合现实。

然而，当前的航位推算模式存在不少缺点，例如漂移（真实位置和预测位置之间的误差越来越大）、计算成本高，以及未能说明每个用户和/或每个设备的特征等等。

针对这个问题，微软在名为”Systems and methods for deep learning-based pedestrian dead reckoning for exteroceptive sensor-enabled devices“的专利申请中提出了一种基于深度学习的行人航位推算系统和方法。

在一个实施例中，检测行人航位推算模式触发条件，以及响应于检测行人航位推算模式触发条件，从计算设备的一组或多个惯性追踪组件获得一组惯性追踪数据。在一个实施例中，所述方法同时包括获得计算设备的估计三自由度速度。

在一个实施例中，当处于行人航位推算模式时，计算设备配置成至少部分基于训练的预测模型来估计设备的六自由度定位。

在一个实施例中，当处于行人航位推算模式时，设备从诸如陀螺仪和/或指南针这样的一组或多个惯性追踪组件中获取惯性追踪数据，并且同时获取设备的估计三自由度速度，以作为预测模型的输出。响应于从惯性追踪数据集获得的惯性追踪数据的第一子集，提供三自由度速度作为输出，以作为预测模型的输入。

在一个实施例中，预测模型是根据一组训练数据训练的预测模型，包括外感知传感器数据（例如GPS或无线电定位数据、以及视觉追踪数据等）和惯性追踪数据。在一个实施例中，预测的三自由度速度和/或预测模型同时可用于将估计的三自由度速度与基于惯性追踪数据集的惯性追踪数据的第二子集融合，从而获得计算设备的估计六自由度定位。

在一个实施例中，专利描述的方法同时包括通过融合计算设备的估计三自由度速度和估计三自由度旋转，从而获得计算设备的估计六自由度定位，这时无需获得通过计算设备的外感知传感器系统所获取的外感知传感器数据。计算设备的估计三自由度旋转是基于惯性追踪数据集。

微软指出，可以向神经网络提供训练数据，以提供基于深度学习的航位推算模式，从而提高系统的精度。

在一个实施例中，头显配置为向神经网络提供训练数据，以训练用于估计六自由度定位的预测模型。在这类实施例中，头显包括一组惯性追踪组件，例如加速计、陀螺仪和/或指南针中的至少一个。惯性追踪组件配置为生成惯性追踪数据。头显同时包括配置为生成外感知传感器数据的外感知传感器系统，一个或多个处理器，以及一个或多个计算机可读介质。

在一个实施例中，当计算设备不处于行人航位推算模式时，从一个或多个惯性追踪组件组获取一组惯性追踪数据。同时，获取外感知传感器数据（例如视觉定位数据或基于无线电的定位数据，GPS数据等），然后向神经网络提供所述数据以训练预测模型。训练数据包括（1）作为输入的惯性追踪数据集和（2）与外感知传感器数据融合的惯性追踪数据的至少一部分（作为ground truth值输出）。

名为”Systems and methods for deep learning-based pedestrian dead reckoning for exteroceptive sensor-enabled devices“的专利申请最初在2020年2月提交，并在日前由美国专利商标局公布。

原文来自https://news.nweon.com/88967