《IEICE Communications Express》:Adaptive point cloud streaming with color reduction
编辑推荐:
本文针对受限带宽环境下点云流传输数据量大、视觉质量易受损的问题,提出了一种结合颜色缩减与坐标位宽降低的自适应流传输方法。研究人员通过k-means聚类减少RGB信息冗余,并优化坐标表示位数,在客户端实现高效重建。实验表明,该方法在保证30 fps流畅播放的同时,显著降低了通信比特率并提升了视觉质量(PCQM指标),为实时点云传输提供了新思路。
随着虚拟现实和沉浸式体验技术的快速发展,体视频(volumetric video)逐渐成为研究热点。点云(point cloud)作为生成体视频的重要方式,通过包含三维坐标(x, y, z)和颜色信息(r, g, b)的海量点集,能够真实还原三维物体。然而,点云流传输面临严峻挑战:单帧点云包含数十万至数百万个点,原始数据速率可达数百Mbps甚至数Gbps。在受限网络环境下,直接传输原始点云会导致帧率下降或播放卡顿,严重影响用户体验。传统解决方案如V-PCC(Video-based Point Cloud Compression)虽压缩效率较高,但编解码复杂度大,难以满足实时性要求;而基于降采样的自适应流传输方法(如DASH-PC)又会因点数减少导致视觉质量明显下降。
为解决这一矛盾,日本研究人员在《IEICE Communications Express》发表论文,提出了一种融合颜色信息缩减与坐标表示优化的自适应点云流传输方案。该研究的创新在于:一方面通过颜色聚类减少RGB数据冗余,另一方面通过坐标位宽压缩降低几何信息量,在维持视觉质量的同时显著提升传输效率。
研究方法主要包含三个核心技术模块:
- 1.
颜色缩减处理:服务器端对每帧点云RGB值进行k-means聚类,将颜色相近的点归并为k个组,仅传输各组平均RGB值及点索引范围。客户端根据MPD(Media Presentation Description)文件描述的颜色映射关系快速重建色彩。
- 2.
坐标转换优化:将坐标原始表示范围(0-1023整数)压缩至8位。通过将点云空间划分为边长256的立方体,记录各立方体基准点坐标,点坐标转换为相对于基准点的8位偏移量。
- 3.
自适应流传输框架:建立多质量等级(Q0'-Qn-1'),其中高质量级保留更多点数但应用颜色缩减。客户端基于播放缓冲区容量动态选择质量级,缓冲区超过阈值时请求高质量点云。
系统架构设计
如文档图3所示,系统采用客户端-服务器架构。服务器预生成不同质量等级的点云文件(含原始文件与处理后文件)及MPD描述文件。客户端根据自适应比特率(ABR)算法(算法1)实时请求数据,完成坐标重建与颜色设置后渲染。这种设计将计算密集型处理前置到服务器,保障了客户端实时播放性能。
处理时间评估
如表I所示,客户端渲染时间与点数成正比(10万点约8ms,20万点约15ms),且不受颜色组数k值影响。即使在k=100(MPD文件达4.2MB)时,渲染时间仍低于33ms/帧,满足30 fps实时播放需求。服务器端预处理时间不影响流传输实时性。
自适应流传输性能
在带宽周期性波动(250/500 Mbps交替)环境下测试显示:
- •
视觉质量方面:当采用k=100颜色组与8位坐标时,点云质量度量(PCQM)值最优(值越小质量越高)。对于颜色丰富的Longdress序列,k=15时因颜色代表性不足导致质量下降,说明k值需根据内容特性调整。
- •
通信比特率方面:颜色缩减与坐标位宽压缩使平均比特率显著降低。8位坐标表示比16位基准降低约20%比特率,且同比特率下k值变化不影响文件大小(因RGB信息已移除)。
该研究通过创新性地结合颜色缩减与坐标优化,实现了点云流传输中视觉质量与带宽效率的协同提升。方法特别适用于人体模型等空间范围集中的点云,对推动实时沉浸式应用具有重要实践意义。未来工作可探索动态k值调整机制,以更好地平衡不同内容特性下的质量与效率。
(注:全文严格依据文档内容展开,未引入外部知识。所有技术术语首次出现时标注英文缩写,专业符号与上下标均按原文规范表示。)