EDN China > 技术文章 > 嵌入式系统 > 操作系统 > 正文
? 2016博客大赛-不限主题,寻找电子导师,大奖升级??

Android 多媒体系统集成的复杂性

Tom Cooksey?? ARM 首席软件架构师?? 2015年03月31日 ?? 收藏0

ARM 多媒体技术

如上所述,Android 多媒体子系统开发过程中遇到的基本问题是,从多个供应商采购组件和解决方案(无论是包含内部开发的部件还是由诸如半导体供应商之类的外部公司提供),这意味着将对产品质量和/或开发进度产生影响。而可以向 OEM、系统集成商和硅片供应商提供显著帮助的解决方案即为 ARM 的预集成多媒体堆栈。自开发首款移动电话以来,ARM 一直致力于与其合作伙伴合作,一同开发可以在固定功耗预算范围内、持续扩展移动设备功能的技术。因此,ARM 在多媒体 IP 以及处理因集成高度复杂的视频和图形技术而产生的系统级问题方面具有丰富的经验。ARM 产品的核心在于,可以在图形、视频和显示处理器内核、系统级 SoC 优化技术领域提供广泛的多媒体技术组合。

● ARM Mali GPU 系列是指一系列广泛的产品,可以进行扩展以便为移动细分市场内外的各类设备提供丰富的消费者体验,适合高端和主流市场,包括:

  ARM Mali-T820:提供多功能和效率的最佳组合,可以向下一代主流移动设备交付丰富的用户界面和卓越的内容,并采用尽可能小的硅片面积维持最佳性能的 ARM 特色产品;

  ARM Mali-T830:其每个着色器内核的计算能力高于 Mali-T820,能够为主流移动设备的消费者带来诸如高级 3D 游戏等更复杂的内容;

  ARM Mali-T860:可从一个内核扩展至十六个内核,经过优化,能够为高端移动设备市场带来具备卓越性能效率的复杂图形和计算内容;

  全新Mali-T880,旨在为温度受限的移动和消费者平台带来高端复杂的用例,能效较之前一代提高了 40%。附加的算术能力和可扩展性支持可支持类似游戏机的高级游戏体验。

Mali-T860 和 Mali-T880 均本地支持 10 位 YUV,为最佳 4K 内容提供令人惊叹的视觉表现,并且与 Mali-V550 视频处理器和 Mali-DP550 显示处理器的配置相得益彰。

● ARM Mali-V550 视频处理器是下一代低带宽、多核、多重编解码的编码器/解码器,提供 IP 业界首个适用于 HEVC(高效率视频编码)编解码器(包含 8 位和 10 位 HEVC 解码和 8 位 HEVC 编码)的单核视频编码/解码解决方案。它可以在单核上集成编码和解码功能,并且能够在多个编解码器上最大程度地重复使用,确保设备交付高级别的硅晶片面积效率。

● ARM Mali-DP550 显示处理器是最新一代的 ARM 显示技术,其增强功能可以将合成、缩放、旋转以及图像后处理等任务从 GPU 或 CPU 卸载到专用处理器,省去了写出到内存的必要,进而节省功率。该设备的硅片面积非常小、能耗低,额外支持多达七层的合成,同时还集成了 ARM 的节能技术。

系统级优化技术

与此同时,有数项系统级优化技术可供系统集成商使用,并且能够为 ARM 的多媒体处理器组合提供补充。这些技术包括ARM 帧缓冲压缩(ARM Frame Buffer Compression, AFBC)、智能消除(Transaction Elimination)、智能合成(Smart Composition)以及动作搜索消除技术(Motion Search Elimination)。

● ARM 帧缓冲压缩(AFBC)是一项无损图像压缩协议和格式,可以解决在移动设备的散热限制内,构建愈加复杂的设计时所面临的困难。基本上,它最大限度地减少了 SoC 内不同 IP 块之间的数据传输量,并且可以降低在整个系统内传输空间协调图像数据所产生的整体系统级带宽和电力成本。其无损压缩率在业界处于领先地位,典型情况下可高出 50%,而算上限制性的最坏情况比率,通常情况下高出 80%。AFBC 提供低至 4x4 块级别的细粒度随机访问,该随机访问支持在 SoC 设计内的其他 IP 块中应用 AFBC。在 Android 多媒体系统环境中,AFBC 通过集成至显示、视频和 GPU 驱动程序的私有接口在 ARM Gralloc 驱动程序中启用。

AFBC 可用于所有 ARM Mali 视频处理器、 显示处理器、以及 Mali-T760 及更高版本的图形处理器,并且还作为可授权的单独 IP 块与 SoC 中的其他多媒体块一同使用。

● 智能消除(TE)是 ARM Mali GPU 架构一项重要的带宽节约功能,可在 SoC 系统级别上显著节省能源。在执行 TE 时,GPU 将当前帧缓冲与之前渲染的帧相比较,仅对改动过的部分进行局部更新,因而大大减少了每一帧需要传输到外部内存的数据量。这一比较是在每区块基础上执行的,运用循环冗余检查(CRC) 签名来判断区块的改动情况。CRC 签名一致的区块完全相同,因此消除它们对生成的图像没有任何影响。无论帧缓冲的精度要求是什么,TE 都可以供各应用程序用于 GPU 支持的所有帧缓冲格式。TE 是一项非常有效的技术,即便对于“第一人称射击游戏”而言也是如此。然而,由于在用户界面和休闲游戏等许多其他常用图形应用程序中,两个连续帧之间的帧缓冲大部分保持不变,因此 TE 带来的帧缓冲带宽节约最高可达 99%。和 Android 多媒体系统集成中的 AFBC 一样,“智能消除”可通过 ARM Gralloc 驱动程序启用,并且与 GPU 驱动程序集成。

● 智能合成(SC)是另一项旨在降低带宽的技术,同时可以在帧合成期间读入纹理。该技术可以将标准 Android 用户界面纹理读取带宽降低 50% 以上。通过在最后帧合成之前分析帧,SC 将确定是否存在要渲染帧的给定部分原因,或者它是否可以重复使用之前渲染和合成的部分。如果可以重复使用这一部分的帧,则无需重新从内存中读取并重新进行合成,因此将节约更多读取带宽和计算量。在 Android 多媒体系统环境中,“智能合成”将显示为 EGL 扩展 (EGL_KHR_partial_update),供 Android 内的 ‘SurfaceFlinger’ 和 ‘HWUI’ 组件使用(见图 2)。

● 动作搜索消除技术(MSE)既是智能消除的扩展,也是一项可在 Mali-DP550 显示处理器和 Mali-V550 视频处理器中实施的新功能。该技术旨在解决一种不断增长的需求:将音频/视频数据从移动电话、平板电脑和其他消费者设备无线传输至电视屏等大屏幕。发送和接收设备均必须支持使用诸如 H.264 视频编解码器等算法执行视频流压缩。在典型用例下,显示处理器并不会将帧缓冲传输至显示面板,而是将其写入内存,随后视频编解码器将读取该内存以对帧进行编码,并通过 Wi-Fi 网络发送压缩的帧。显示处理器和视频处理器均维护每个区块的 CRC 签名,当显示处理器写出帧缓冲时,视频处理器可以为签名匹配的区块消除运作搜索。运作估算是视频管线中最消耗资源的部分,因此跳过所选区块的搜索将降低 Wi-Fi 传输的延迟以及带宽消耗,进而降低 SoC 的整体功耗。同 AFBC 和智能消除一样,动作搜索消除技术也通过 ARM Gralloc 启用,这有利于将 CRC 数据从 Mali-V550 视频处理器的 Android 视频驱动程序传输至 Mali-DP550 显示处理器的 HWComposer 驱动程序。

【分页导航】

《电子技术设计》网站版权所有,谢绝转载


?? ?? ??


打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮

1.扫描左侧二维码
2.点击右上角的分享按钮
3.选择分享给朋友
?? ??

Android? 多媒体处理器? Mali GPU? IP?

相关文章

我来评论
美国的游客
美国的游客 ??? (您将以游客身份发表,请登录 | 注册)
?
有问题请反馈