您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息
免费发信息
三六零分类信息网 > 达州分类信息网,免费分类信息发布

Octi让智能手机具备识别场景纵深、追踪人体运动的能力

2020/2/24 2:50:41发布134次查看

尽管深度摄像头正在逐渐出现在许多手机手机品牌的高端机型上,但是单目、rgb摄像头仍然是占据绝大多数设备的主流。这也就导致了现有的ar技术仍然是基于平面,很难去获取环境的纵深。另外设备也很难捕捉并理解人体以及动作,无法表现更好的增强现实效果。
普及具备深度获取能力的摄像头仍需时日,而人们对于更好的ar体验的追求已经等不及了,如何在不添加传感器的条件下,让单目视觉设备具备对场景纵深的理解能力,对人物动作的追踪能力,成为增强现实视频公司octi攻克的重点。
在ios端,octi推出了一款名为“octi”的app,已经可以在app store下载体验
这款应用展示了他们的动态抠图技术
识别动态的尬舞人体,选择特效,例如变成透明人
将从别处抠下来的动态跳舞妹子放进同一个场景中
点击边框调出视频工具条   
和时下流行的短视频结合起来似乎会有奇妙的效果。
在octi的官网上能看到技术的简要说明。
首先是移动实例分割。
所谓实例分割,就是机器自动从图像中用目标检测方法框出不同实例,再用语义分割方法在不同实例区域内进行逐像素标记。换言之,就是当场景中出现很多人的情况下,实例分割能够区分出那些像素属于第一个人,哪些属于第二个人。
而octi专有的人员实例分割方法能够实现在移动设备(手机)上以高帧率运行。
为了让机器具备理解人体及其运动的能力,octi建立了成熟的机器学习和计算机视觉技术。
首先,它扫描人体,检测关键点比如眼睛、鼻子、臀部肘部等。
然后利用这些点来构建骨骼模型
octi独特的3d重建技术结合使用神经网络和运动学模型,比同类方法具有更高的精度。
使用人的姿势、分割和一系列专有运动模型的先验组合,octi在移动端实现了人体的体积重建。
看来octi采用的便是被丸子酱点名批评过的,通过在模拟出的骨骼模型上套上一个粗糙的人体外壳完成的人体3d模型重建(facebook最新开源,普通rgb相机即可实时映射3d模型)考虑到在手机端各方条件都受限制,不能强求更多,实用就好。
为了让单目rgb相机识别环境中的相对深度
octi利用深度估计估计模型来区分图像的前景和背景(即物体的远近),这种能力加强了设备对于场景的语义理解,并且允许我们在不考虑背景噪声的情况下提取人的详细动作。
octi日前确定了同nfl球员协会(美国国家橄榄球联盟)确定了投资战略和合作关系,球迷粉丝们可以通过octi提供的技术同超过2000名橄榄球运动员进行视频形象互动,就像我们在文章开头看到的那样。
动作捕捉似乎是个和我们普罗大众相距甚远的技术条目,octi此举却告诉了我们,我们可以利用这项技术做很多有趣的事情,而且仅需要一个配备单目摄像头的智能手机,就可以从场景中提取清晰人体动作,这将给ar技术的普及推广进一步推波助澜。
octi不久前宣布获得750万美元投资,有了更多资金,octi将继续完善其计算机视觉科学家、机器学习工程师的研究人员团队,或许能在技术上更进一步。

达州分类信息网,免费分类信息发布

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录