宁波舟山→港六横公路大桥梅山水道桥中跨合〓龙
2024-08-27 00:04:13
URL: /yydh/Mobile/20240826_190253.xhtml
8月24日消息,MetaReality实验室最新卐推出了名为Sapiens的AI视觉模型,适用于二维姿势预估、身体ω 部位分割、深度估计和表面法线预测4种以人为中心的基本视觉任务。
这些模型的参数数量各不相同,从3亿到20亿不等。它们采用视觉转换器架构,任务共享相同的编码器,而每个任务♀有不同的解码器头。
二维姿势预估:这项任务包括检测和定位二维图像中人体的¤关键点。这些关键点通常与肘、膝和肩等关☆节相对应,有助于了解人的姿势和动作。
身体部位分割:这项任务将图像分割成不同※的身体部位,如头部、躯干、手臂和腿部。图像中的每个像素】都被归类为属于特定的身体部位,这对∑ 虚拟试穿和医学成像等应用非常有用。
深度估计:这□项任务是估算图像中每个像素与摄像头的①距离,从而有效地从二维图像中生成三维图像。这对增强现实◣和自动驾驶等应用至关重要,因为在╳这些应用中,了解空间布局非常重要√。
表面法线预测:这项任务是预测图像中表面的方向。每个像素都会分配一个法向量,表示表〗面朝向的方向。这些信息对于三维重建和了解场景中物体的几何形状非常有▂价值。
Meta公司表示该模型可原生支持1K高分辨率推理,并且非常容易针对个别任务进行调整,只需在超过3亿张野生人类图像上对模型进行预训练即可。
即使在标注数据稀缺或完全是合成数据的情况下,所生成的模型也能对野生数●据表现出卓越的泛化能力。