跳跃蜘蛛激发了令人难以置信的紧凑深度传感器

跳跃的蜘蛛已经进化了一个有效的深度感知系统，使它们能够准确地突袭从几个身体长度的毫无戒心的目标。

对于我们所有的技术进步，没有什么能在研究和开发方面进行演变。带跳跃的蜘蛛。这些小植绒群仍然具有令人印象深刻的深度感知，尽管他们的微小的大脑，允许他们准确地突袭几个身体长度的毫无戒心的目标。

受这些蜘蛛的启发，哈佛约翰A.保尔森工程学院和应用科学学院的研究人员开发了一种紧凑而有效的深度传感器，可在船上微型佩戴装置，小型可穿戴设备或轻质虚拟和增强现实中使用耳机。该器件将多功能的扁平金属与超高效算法结合起来，以测量一次镜头的深度。

该视频显示了实时工作的金属深度传感器，以捕获果蝇的深度。左侧的两个图像是在相机传感器上捕获的原始图像。它们由金属形成，并且略微不同地模糊。从这两个图像，研究人员实时计算对象的深度。右侧的图像显示了计算的深度图。

“进化产生了各种各样的光学配置和视觉系统，这些配置是针对不同目的而定制的，”朱君施博士说，博士说。候选人在物理系和本文的联合第一作者。“光学设计和纳米技术最终允许我们探索人造深度传感器和类似于佩戴和有效的其他视觉系统。”

该研究于今天（2019年10月28日）在国家科学院（PNA）的诉讼程序中发表。

许多今天的深度传感器，例如那些手机，汽车和视频游戏机，使用集成光源和多个摄像机来测量距离。例如，智能手机上的面部ID使用成千上万的激光点来映射面的轮廓。这适用于带电池和快速计算机的房间的大型设备，但电源和计算有限的小型设备，如Smartwatches或Microorobots？

事实证明，进化，提供了很多选项。

“进化产生了各种各样的光学配置和视觉系统，这些配置是针对不同目的而定制的。光学设计和纳米技术最终允许我们探索人造深度传感器和其他类似佩戴和有效的视觉系统。“ - 朱君施

人类测量深度使用立体声愿景，意思是当我们看一个物体时，我们的两只眼睛中的每一个都是略有不同的图像。尝试一下：直接在脸部前面握住手指，交替打开和关闭每只眼睛。看看你的手指如何移动？我们的大脑采用这两个图像，通过像素检查像素，并且基于像素偏移的方式如何计算到手指的距离。

该视频显示了实时工作的金属深度传感器，以捕获半透明蜡烛火焰的深度。左侧的两个图像是在相机传感器上捕获的原始图像。它们由金属形成，并且略微不同地模糊。从这两个图像，研究人员实时计算对象的深度。右侧的图像显示了计算的深度图。

“匹配的计算，在那里使用两张图像并对对应的部分进行搜索，是计算繁重的，”海洋和联合高级作者电气工程与计算机科学教授托德·Zickler研究。“人类对这些计算有一个很好的大脑，但蜘蛛没有。”

跳跃蜘蛛已经演变了一种更有效的系统来测量深度。每个主要眼睛具有少量分层的半透明视网膜，这些视网膜测量具有不同量的模糊的多个图像。例如，如果跳跃的蜘蛛用其中一个主要眼睛看水果苍蝇，那么就会在一个视网膜的形象和另一个蜘蛛中出现更清晰。模糊的这种变化会对飞行的距离进行编码。

在计算机视觉中，这种类型的距离计算被称为离Defocus的深度。但到目前为止，复制性质已经需要带有电动内部组件的大型相机，可以随着时间的推移捕获不同聚焦的图像。这限制了传感器的速度和实际应用。

这就是金属所进入的地方。

设计用于紧凑深度传感的金属的例证。它由亚波长间隔的方形纳米粒子组成。通过交替两种不同的纳米玻璃模式，在这里以红色和蓝色可视化，该金属在同时形成两个图像。这两个图像模拟了由跳跃蜘蛛的眼睛的层状视网膜捕获的图像。

Federico Capasso，罗伯特L.华莱士应用物理学和Vinton Hayes教授电气工程中的电气工程高级研究员，他的实验室已经展示了可以同时产生包含不同信息的几张图像的金属。在那项研究中，该团队设计了一种金属，可以同时产生两个具有不同模糊的图像。

“而不是使用分层视网膜来捕获多个同时图像，因为跳跃的蜘蛛这样做，金属丝将光线分裂并在光电传感器上并排形成两个不同散焦的图像，”Shi，谁是Capasso实验室的一部分。

由Zickler组开发的超高效算法，然后解释两个图像并构建深度映射以表示对象距离。

“能够在一起设计元库和计算算法非常令人兴奋，”齐郭，博士说。顾客在Zickler的实验室和纸上的第一作者。“这是一种创建计算传感器的新方法，它打开了许多可能性的门。”

“由于能够更有效地实现现有和新的光学函数，更快，并且具有比现有镜头更少的批量和复杂性更少，因此，金属纤维是一种变化的技术，因为它们比现有镜头更快，并且具有更少的散装和复杂性。”“光学设计和计算成像中的融合突破导致我们对此新的深度相机，将开辟各种科学和技术的机会。”

###

参考：“紧凑的单射金属深度传感器受到跳跃蜘蛛眼睛的灵感”由Qi Guo，zhujun shi，姚伟黄，艾玛亚历山大，成伟秋，埃德里科·卡萨多和托德勒，2019年10月28日，国家学院诉讼程序科学（PNA）.DOI：
10.1073 / pnas.1912154116

本文由新加坡国立大学姚伟黄，艾玛亚历山大和成伟邱又由姚伟黄，艾玛·亚历山大和程伟邱共同撰写的。它得到了科学研究和美国国家科学基金会空军办公室的支持。