谷歌机器学习运用框架MediaPipe增强3D对象功能

近期，网络易跨平台神经网络领域开发基础MediaPipe为XR开源提供者KNIFT和Objectron两种机器，并引入高级AI基础来提升3D远距离扫描。该基本功能将为AR/VR领域带来表达方式扫描、下巴扫描、姿态扫描和远距离扫描等基本功能。

据青亭网络了解，MediaPipe是网络易在2019年发售的AI基础，主要用来探测3D生活空间的人和物体，并通过神经网络方案来扫描远距离，将2D数据匹配为3D生活空间结构。MediaPipe的跨平台兼容性好，支持格斯、iOS等系统的AR/VR开发机器。除此之外，网络易还发售Apache 2.0开源基础，为开源提供者完全都可定制的XR项目。

MediaPipe提供者的各类3D扫描基本功能，可以用做AR/VR内容开发。其之前都有的主要XR基本功能包括：通过观察探测、通过观察网络格、虹膜探测、手部探测、姿势探测、总体探测、分离、指甲分离、物体探测、方格扫描、须要群众运动扫描、Objectron（单纯框搜索）、KNIFT、AutoFlip、MediaSequence等等。

其之前，KNIFT全都称为关键点神经不变特点傅立叶，主要作用是增强单纯探测效果、帮助理解物体上的信息，可匹配真实世界世界单纯（例如停车标识）上说明了的信息，并作为生活空间数据进行传递。而Objectron则是将2D图像之前的单纯转化为实时3D（RT3D）数据点，并通过神经网络算法来预测单纯的姿势发生变化。此外，Objectron可根据2D截图录像搜索露营生活空间/生存环境。

值得注意的是，网络易曾将MediaPipe与各种核心项目内置，比如去年发售的Art Filter领域，利用MediaPipe机器将任意道具变为独创艺术品。网络易SignAll也内置了MediaPipe服务于，用做扫描和读写聋哑。