共享时空｜即构科技发布主体分割技术，助力虚拟现实融合

在线通信浪潮的到来，个性化需求的增加随着近年来在线通信需求的增加，在线社会、在线学习、在线娱乐等诸多应用场景，除了质量、质量、稳定等基础技术硬实力外，还出现了..。对通信质量的要求不断提高。以游戏主播为例，主播一方共享自己的游戏画面，而对方自己的摄像头和观众互动已经成为当今主流的游戏玩法，直播游戏内容至关重要，主播与观众良性互动可以降低观众流失率，而游戏主播的现场定位大部分都是在家里。隐私保密性有一定的要求，通过虚拟背景的交换。另一方面，锚可以放置在虚拟游戏场景或电子竞技场景中，观众端的外观和感觉体验也会更好。在线通信浪潮带来了需求的增加，个性化功能和服务的提供是所有平台都需要互补的地方。对于上述虚拟背景的更换，ZEGO正式推出了车身分割和车身传输功能，在视频功能的实时交互式RTI升级中。利用AI功能，将图像中的身体与原始视频分开，在身体和完整视频之间填充透明的alpha通道，最终通过RTC完成网络传输。通过独立处理复杂的背景，它可以让多人互动和场景替换，也就是将不同空间的人和物体聚集在同一屏幕上。ZEGO发布的主题分割功能是客户端主题分割，可细分为现实分割和绿屏分割两种类型。现实分割是指将主体与真实场景分离开来，对主体环境的要求不大，用户可以随时随地使用。ZEGO选择了40种不同的场景，包括机场、客厅、办公室、卧室、火车站和剧院，并将10，000张室内和室外图像作为背景数据，以避免算法过度拟合。由于部署平台的功耗和性能限制，芯片算法通常需要轻量化。轻量化算法通常参数很少，泛化性能也有不同程度的下降，连续视频帧的保持受光照和编码压缩的影响，产生闪烁效应。也就是说，它收集了大量的真实世界数据，创建了一个数据量超过10万个的大型视频图像数据集，其中包括不同光照变化、不同比特率、不同分辨率的视频数据，减少了闪烁效应的发生。系统技术使用大量的视频数据作为背景数据，训练过程中随机选择背景和前景主题进行叠加，并使用随机色移、随机灰度、随机仿射变化、随机高斯模糊、随机噪声等方法进行叠加。减少动态对象在真实场景中的效果。系统技术在算法中参考前后帧之间的关系，将一系列视频的时序关系嵌入到算法中，利用前一帧的隐含信息来限制下一帧，最终使主体的出现和消失产生淡出效果，极大地提高了感官体验。绿屏分割是指将主体与绿屏场景分开。与实时分割相比，用户需要首先部署一套绿屏，绿屏分割具有更好的边缘处理效果。在绿幕分割过程中，往往无法准确预测车身边缘和绿幕溢出。绿色溢出可能是由于灯光布置不合理、机身边界处理困难造成的绿色残留、机身大幅快速移动造成的运动模糊现象、绿屏颜色与机身颜色叠加等原因造成的。为了解决上述问题，系统技术利用AI开发了一种非常轻量级的绿切算法。该算法的模型大小仅为1kb，在Snapdragon855平台上，CPU需要2毫秒，GPU需要1毫秒。为了解决绿色抑制问题，我们在算法中插入了一个特殊的绿色抑制模块，动态学习不同绿色溢出颜色与正常颜色的映射关系。同时，针对黄色和天蓝色的难题，ZEGO在算法训练阶段随机将这两种颜色的贴片贴在图像上，并让算法保留这些颜色。基于上述策略，ZEGO的绿屏映射算法完全解决了绿屏溢出问题，对绿屏的照明和平整度有很高的抵抗力，大大降低了用户使用绿屏的门槛和成本。第三，ZEGO主题分割场景应用框架为主题技术的应用规划了四个方向：虚拟背景、混合现实背景、多人在线互动场景、在线教学。1、虚拟背景：满足用户单一背景模糊、背景交换的需要。混合现实场景：多个用户在不同场景中共享时间和空间，满足企业需求，提高在线会议、在线年会等场景的沉浸感。

3、在线虚拟会议舞台上的互动3、多个人和场景的在线互动：对于个人而言，打破了在线用户的空间界限和距离感，提高了实时互动的乐趣。

主播在线教育：公司/大学培训，在线学习，确保扬声器的矩形视频帧不会阻挡屏幕共享内容。

ZEGO通过自主研究的草图和绿屏算法，实现了出色的身体边缘和颜色分割处理，并通过RTC网络远程发送分割的身体，远程可以直接渲染多个身体，如肖像在虚拟背景或场景中。实现多人与场景的实时交互，在720p视频中，可以达到毫秒级的处理速度，帮助用户快速实现在线交互的共享空间!