国内首颗空间定位协处理芯片重磅发布,耀宇视芯“启明”如何助力VR/AR行业破局



文/VR陀螺




从性能上看,“启明”可以提供高精度和极低延迟的6DoF Pose及优秀的显示渲染补偿。其支持30-120FPS视觉定位特征提取,1000Hz 6DoF姿态的输出,追踪延迟小于1ms,并且不论是单目还是多目SLAM都能实现空间定位。

特别是在功耗控制方面,“启明”表现极其优秀。在多种典型场景测试中,“启明”的功耗表现(以下功耗已包含MIPI和USB接口传输功耗)数据都远优于其他方案。

在双目定位(30FPS+1000Hz IMU)测试环境下,“启明”的功耗约170-180mW,而作为对比,目前市场上在主控芯片DSP中跑软件算法功耗普遍会达到600-800mW,CPU中跑软件算法通常会达到2-3W,功耗高会带来一连串续航、发热问题影响实际体验,这也是困扰产品开发的重要指标。

此外,在单目定位(30FPS+1000Hz IMU)的测试环境下,“启明”的功耗能进一步降低至130mW;甚至在极限低功耗单目定位(15FPS+1000Hz IMU)测试环境下,功耗仅仅100mW。

可见,相比采用CPU或DSP,使用“启明”进行空间定位运算不仅能提升整个VR/AR系统的定位及显示效果,还能够极大降低VR/AR系统对核心处理器的资源占用及功耗。此外,一体式AR眼镜相比VR头显对重量体积控制要求更高,“启明”6.5mm×6.5mm的小封装设计显然也更加适应AR眼镜轻量化的发展趋势。

对于VR/AR设备来说,更强的GPU性能、更高的能效比、更佳的6DoF追踪水平,都有利于产品适应未来AI技术不断进步下的大型沉浸式游戏、工业3D设计、VR教育医疗等元宇宙应用,摆脱对外部算力终端的依赖。

而“启明”的加入不仅提供了优秀的6DoF技术,同时解放了VR/AR系统在主处理器选择上的自由度,降低了设备品牌厂商在研发上的投入及产品迭代周期。用耀宇视芯的话说,“启明”芯片“不仅可以搭配穿戴芯片实现极低成本,同样也可以搭配PC芯片实现极致性能”。




 自追踪手柄的强力支撑,VR/AR交互更进一步 




除了能够作为头显/眼镜的SLAM定位重要支撑外,“启明”也可用于自追踪手柄定位。

Quest Pro的发布让手柄自追踪技术来到台前,以往头显的手柄需要依靠头显上的摄像头来进行追踪,由于容易出现视觉定位遮挡或者光线影响导致手柄漂移、丢失等不稳定情况,所以在视觉之外往往都会配合IMU来进行补偿计算。手柄自追踪通过在手柄上加入摄像头来使其实现其独立追踪,以摆脱对头显的依赖。



作为一种成熟且被广泛接受的交互工具,手柄能为用户提供精确输入或复杂操作下的更好体验。不过,VR/AR厂商在手柄研发上常常面临双重困境。

一方面,传统的手柄由于需要尽可能地增加被头显摄像头捕捉的面积,所以往往体积较大,重量较重,不便于携带的同时长时间使用也可能会让用户产生疲劳。所以,自追踪一方面为了提升追踪精度,同时也承载着为用户带来更好的使用体验的设计初衷。

但另一方面,体积小、轻量化手柄相比传统手柄又受到高精度追踪的困扰。特别是当用户体验一些重交互内容的时候,对追踪系统的稳定性和准确性提出了更高的要求。其次,由于高精度的追踪通常需要进行更多的计算,但小型轻量化手柄往往需要通过限制传感器的大小和数量减小体积,使得芯片选择以及功耗管理成为轻量化手柄研发中的一个重要挑战。



对于这一难题,“启明”作为一款可以在手柄上搭载的复杂算法和高算力芯片,同样通过高性能、低功耗的SLAM算法,减小手柄端摄像头数量与性能负担、大幅降低自追踪手柄的成本,从而轻松在手柄上实现自定位追踪。

据了解,“启明”最低可以实现手柄上仅用1颗摄像头来实现自追踪,定位精度达到毫米级。




 补齐安卓市场“短板”,耀宇视芯已支持数十家VR/AR企业 




苹果Vision Pro的发布常被视为市场的一大风向标,可以预见的是未来众多VR/AR终端都将朝着这个风向标看齐,协处理芯片也将成为其中重要的一环。

在智能手机领域,虽然前面经历了众多系统百花齐放的乱战时期,但最后形成的安卓与苹果双分天下的格局至今未变。相对于智能手机,VR/AR虽然有一部分可延续智能手机的供应链和技术,但其涉及到的技术面更广。同时,作为可穿戴产品,产品需要考量的点包括光学、显示、功耗、散热、延迟、重量、佩戴人体工学等,每一个项目都是技术进步需要攻克的难关。

如今,苹果在VR/AR领域以“顶配”一鸣惊人,我们也不得不承认其与市场上现有产品拉开的技术差距。详情参考:《苹果MR设备Vision Pro技术解析:极限堆料下,空间计算新时代开启》

虽然鸿沟依然存在,但令人欣慰的是,每一个底层技术板块都在不断往前迈进,如单眼4K Micro-OLED显示除了索尼之外,京东方、视涯等知名企业以及湖畔光电、宏禧科技等众多创业企业都在加速研发;高性能主芯片板块高通持续发力;SLAM、VST协处理芯片则出现了如耀宇视芯、万有引力等备受期待的新星;此外,手势识别和眼动追踪等其他板块也有巨头和创业企业共同在推进。

安卓系与苹果系取得平衡,形成良性竞争,最大化覆盖消费用户,产业才能健康发展。

据了解,目前耀宇视芯“启明”芯片已经开始支持数十家厂商进行VR/AR眼镜及自追踪手柄的开发,取得了核心客户二十万片的意向订单,并将于2024年2月份正式开启批量供货。

此外,耀宇视芯在两年内已经完成了三轮融资,最近一轮于今年7月份由星纳赫联合敦鸿资产、弘博资本、伯藜资本等投资了数千万元。

随着人工智能等各领域技术的持续突破,将二维信息重构迁移为空间三维信息将是未来数字化时代的核心。SLAM作为VR/AR领域的底层技术,其门槛降低将让VR/AR虚实融合的体验加速进入到人们的生产生活中。

作为国内空间定位协处理芯片先行者的耀宇视芯,也将以“启明”为开端,从芯片级空间计算技术出发,贴合VR/AR不同需求打造包括8K级VST、无线云分布式方案等在内的完善芯片级方案矩阵,支持更多VR/AR设备厂商快速开发产品并将主要精力聚焦到产品的场景化、差异化、商业化,助力虚拟现实行业快速高效发展。