此前 ,佳能槛临建模佳能曾经在CES 2022上揭示了一种沉浸式、通话体验交互式的低门VR通话妄想:Kokomo,该妄想的场通特色是兼容VR头显以及手机 ,应承VR用户以及非VR用户在3D场景或者VST方式中通话。讯妄想但下场近期 ,延迟该妄想推出了争先预览版本,清晰部格外媒对于其妨碍体验,佳能槛临建模并分享了实际体验感 。通话体验

据青亭网清晰,低门Kokomo的场通道理听起来很重大,惟独要一部手机以及一台VR头显 ,讯妄想但下场好比Quest 2。延迟不外 ,清晰它详细是佳能槛临建模若何操作的呢?原本,该妄想应承VR用户运用写实的3D Avatar与其余VR用户妨碍通话 ,全部历程如下:
首先用手机端app扫描人脸,并天生写实的3D人像模子,该模子将替换VR用户被头显遮住的面部。接着,你需要输入身高 ,以调解3D伪造抽象的尺寸。
3D抽象天生后 ,Kokomo应承你抉择沙漠等伪造场景,而后便会在场景中叠加你的3D抽象 。不外由于3D图像分割 、建模等技术规模,Kokomo中展现的3D人像并不欠缺,大部份光阴有清晰的图像缺失,模拟头显下面部的下场也欠安(惟独20%光阴实用)。
在妨碍通话时,VR用户需要将手机放在眼前多少步远的位置(约莫腰的高度),并戴上VR头显。VR中会展现其余VR用户的伪造化身,而这些伪造化身的措施 ,则是由手机摄像头来实时捉拿 。
尽管这种配置看起来比力重大,但实际上比以往需要运用业余动捕 、容积摄影使命室的妄想老本更低,更易运用。假如未来Kokomo的实时建模下场能不断提升,将有望成为一种很好的低门槛短途泛起(telepresence)妄想。尽管,实时传输3D内容在延迟等方面依然存在下场 ,短期内可能难以处置 。体验者展现:在测试历程中 ,与我通话的伪造化身刷新率可能惟独3-4fps,通话体验并不顺畅 ,突破了沉浸感 。
Kokomo的另一个下场是 ,尽管退出了预先3D建模流程 ,但在通话中却仅以2D方式展现伪造化身,这可能是出于对于算力、数据传输限度的思考 。
因此,现阶段佳能不规画对于Kokomo效率收费,而是愿望从早期用户运用中取患上反映,进一步美满产物 。
参考:TechCrunch