作者: 陈炳欣,来源:中国电子报微信公众号
随着5G、移动端视频、云游戏、云桌面、VR/AR、元宇宙等行业的高速扩张,市场对专用视频处理芯片的需求呈现爆发式增长。近日,腾讯宣布自研的视频编解码芯片“沧海”已经量产并投用数万片。AMD则宣布推出采用5 纳米工艺的视频处理单元,以应对机器视觉识别时代的到来。还有消息称,英特尔将在新推出的第14代酷睿处理器中集成VPU(Video Processing Unit,视频处理单元)。在以机器视觉为基础的人工智能时代,经典计算结构中的CPU+GPU体系越来越无法满足海量视频业务处理的需求,专用视频处理芯片VPU将蓬勃发展。
众多公司投注视频处理芯片
互联网内容不断更新迭代,直播、点播、短视频等视频应用正在“侵蚀”各个年龄层。据估算,视频流媒体内容将占到互联网流量的80%。与此同时,用户对超高清视频的追求也越来越高。这些变化带来了对编解码算力的更多需求。
“传统上,视频流媒体业务主要由CPU和软件提供支持。因为传统的直播活动主要采取一对多的模式,视频流数量比较少,时延相对可控,因而采用传统方式是可以支持直播服务的。”AMD视频战略与市场开发主管Sean Gardner表示,“但随着时代的发展,越来越多的直播场景开始采用多对多模式,即每个人都是主播,他们既是数据源,也是接收器,衍生出连线观赏、直播购物、在线拍卖和社交流媒体等复杂多样的应用场景。繁复的应用场景要求数据的处理更加贴近用户,原先的视频处理方式已经难以满足需求,要求专用的视频处理单元、更强的算力支持,以适应新的变化。”
已经有越来越多的公司将目光投到视频处理芯片VPU之上。近日,腾讯宣布其在2022年3月顺利点亮的视频编解码芯片“沧海”已经量产并投用数万片,应用于云游戏、直点播等场景中。通过将视频预分析计算单元卸载到硬件中,沧海芯片可以大幅减少高密度转码场景下任务对CPU的依赖,进一步提升转码性能。
英特尔也对视频处理与机器视觉业务非常重视,去年进入独立显卡市场,推出高性能GPU。近日则有消息称,在今年下半年推出的第14代酷睿Meteor Lake上,英特尔会首次使用多芯片整合封装,同时增加一颗新的视觉计算单元VPU,以大幅提升视觉处理与AI性能,降低功耗。
AMD也于日前推出一款面向大规模直播互动流媒体的加速器Alveo MA35D,集成两颗VPU,采用5纳米工艺,可支持32路1080p60的转码密度。此外,谷歌、百度、腾讯等互联网大厂均投身视频处理芯片的自研。
对此,安谋科技(中国)有限公司VPU产品经理董峰表示:“视频应用越来越多,使得VPU的市场规模也不断增长。目前除去部分传感器与通用MCU之外,几乎多数处理器芯片都具有视频处理的功能。”另据市调机构Yole预计,到2025年VPU市场规模将达18.5亿美元。
人工智能与VPU将深度融合
ChatGPT正在全球范围内引发新一波的AI热潮,然而大语言模型能够直接驱动的算力增长实际上相对有限,未来70%~80%的AI计算任务将发生在机器视觉与多模态领域。这就使得专用的视频处理单元与AI运算能力相结合成为发展的主要方向。
“我们在Alveo MA35D开发过程中引入了人工智能分析视频的内容,能够更好地理解视频特点,比如视频的复杂程度如何、类型如何,是合成的电脑游戏,还是真实内容。有了人工智能获得的洞见,人们能以更高的效率把这些动态内容传导给编码器。这样的方式可以降低带宽和存储要求,提高效率。”Sean Gardner说。
那么,现实当中应该如何实现AI与VPU两种不同芯片技术的结合呢?根据董峰的介绍,业界通行的作法有两个:一是集成专用的神经网络加速单元,另一种是将AI处理功能融入VPU当中。
“对于互联网公司来说,芯片成本往往不是其关注的重点,重点多是放在降低码率上面。因而互联网公司一般会选择在开发VPU时融入AI能力。如果是面向终端企业开发,AI能力融在VPU当中,这部分AI能力就不能被其他业务场景用到了,因而会更加倾向于单独设计AI单元。”董峰表示。
Sean Gardner则提醒,人工智能和机器学习将扮演重要的角色,但互操作性导致对VPU的开发在短期内不会全面转向AI。同时AI的成本很高(是当前技术的5倍),因此还需要谨慎部署。
汽车市场成新增长点
目前,视频业务场景大致可划分为云端与终端两个方向。由于VPU的应用领域与关联场景密切联系,因此VPU也基于云端与终端两个应用场景发展。
具体来看,近年来,云端视频的应用越来越普及,仅从实况直播市场来看,无论营收还是基础设施的部署,增长都非常迅速,目前全球视频市场超70%的份额由直播内容主导。与此同时,终端对视频处理能力的需求也在迅速爆发,越来越多的短视频制作开始在终端设备上完成,智能手机越来越多地扮演内容生产者的角色。这些均对视频处理能力提出了新的需求。董峰表示:“一方面,在云端VPU越来越成为数据中心的一部分,以应对海量视频数据的加速需求;另一方面,在终端VPU与手机、安防监控、AR/VR设备相结合,目的是提高设备的视频编解码性能,降低视频处理所需功耗与时延。”
对于互联网厂商来说,必须适配不同的终端设备,以提供相对统一的用户体验。因为在直播场景中,人们希望看到的是具有相对统一的清晰度、分辨率和时延的画面。高端手机与低端手机的解码能力有差别。这就要求互联网厂商能够基于不同手机进行适配。对于终端设备厂商来说,要求能够适应多种互联网格式,VPU要具有更强的兼容性,更强调解码能力,低成本、低功耗与小尺寸等。总之,视频内容越来越多样化,不同场景、不同内容对VPU的要求各不相同。这对VPU开发者来说是一个挑战。
除上述云端与终端两大市场之外,汽车端的应用需求正在迅速增长。汽车被认为是继智能终端、AIoT、安防监控之后,VPU最具潜力的终端应用场景。以自动驾驶技术为例,障碍物检测、障碍物跟踪、交通信号灯检测、车道线检测、可驾驶区域分割、特征跟踪、行人行为预测都需要对视频内容进行处理,仅凭传统PC/手机处理器已无法满足机器视觉、深度学习的算力需求,需要专用VPU进行处理。此外,智能座舱的需求潜力也不容忽视,无论是座舱视觉DMS,还是息娱乐系统(IVI)、行车记录仪DVR,都有着巨大的发展潜力。
从产品开发角度来看,车载VPU在性能上没有太大的差别,但是其更加强调安全性。“如果是安装在汽车上,必须符合各种车规芯片的检测要求。”董峰强调。