【资料图】
扎克伯格正在斥巨资推动元宇宙的发展。对于Meta而言,这包括了AI,该领域的最新创新是Segment Anything (SAM) AI分割模型。
Meta表示,SAM“对物体对象已有了一个大致了解,并且可以为任意图像或视频中的任意对象创建掩码,甚至是系统在训练期间没有遇到过的物体和图像类型”。
SAM用途广泛——即使在XR中也是如此
因此,该模型在未来可“用于需要找到和分割任意图像中任意对象的应用程序。”
据报道,SAM的设计可与其他系统灵活集成:“在AR/VR中,SAM可根据用户的注视选择对象,然后以3D方式投影。”
以上视频基于直通AR功能头显进行了演示。基于SAM,头显可以独立检测焦点对象和人,并支持叠加显示具体对象及其距离。
另外,Meta SAM博客一段类似的视频演示了更加清晰的物体对象识别,尽管视频中所用头显尚不清楚(可能是Meta Quest Pro),猜测该技术或将应用于Meta Quest 3。
Meta Quest 3 SAM:XR游戏规则改变者?
倘若SAM模型应用于Meta Quest 3,那么头显拥有的物体识别和音频输出功能将使视障人士受益,甚至SAM模型可用于语言学习以支持更多识别对象。例如,基于SAM,头显将能识别烘焙原料并自动显示合适的食谱。
此外,SAM可确定VR视图中物理世界的性质,并以适应VR软件的方式将其转换到虚拟世界。例如,这将消除绘制保护区域的需要,用户将能实现在VR环境中自由移动。
来源:Mixed
Meta Quest 3