概述

功能说明

VPC功能包括：

• 抠图，从输入图片中抠出需要用的图片区域。
• 缩放
  • 针对不同分辨率的图像，VPC的处理方式可分为非8K缩放、8K缩放。
    • 8K缩放，用于处理输入图像宽度在4096~8192范围内或高度在4096~8192范围内的图片。
    • 非8K缩放，用于处理输入图像分辨率在32*6~4096*4096范围内的图片。
  • 从是否抠多张图的维度，可分为单图裁剪缩放（支持非压缩格式和HFBC压缩格式）、一图多框裁剪缩放（支持非压缩格式和HFBC压缩格式）。

    HFBC，是VDEC输出的一种压缩图像格式，使用这种方式压缩图像，VDEC的处理性能更优。

  • 其它缩放方式，如：原图缩放、等比例缩放。
• 叠加，从输入图片中抠出来的图，对抠出的图进行缩放后，放在用户输出图片的指定区域，输出图片可以是空白图片（由用户申请的空输出内存产生的），也可以是已有图片（由用户申请输出内存后将已有图片读入输出内存），只有当输出图片是已有图片时，才表示叠加。
• 拼接，从输入图片中抠多张图片，对抠出的图进行缩放后，放到输出图片的指定区域。
• 格式转换
  • 将RGB格式/YUV422格式/YUV444格式的图片转为YUV420格式的图片。
  • 图像灰度化，对输出图像数据只取Y分量的数据。

约束说明

• 针对不同分辨率的图像，VPC的处理方式包括8K缩放、非8K缩放，如下表所示。

  输入图像分辨率	输入图像格式	输入图像宽stride*高stride对齐要求	VPC功能	输出图像分辨率	输出图像格式	输出图像宽stride*高stride对齐要求
  宽度在4096~8192范围内或高度在4096~8192范围内（不包括4096）	YUV420SP（NV12、NV21）	2*2对齐	8K缩放	16*16~4096*4096	请参见表10-10处的outputFormat参数	2*2对齐
  32*6~4096*4096（包括4096）	请参见表10-10处的inputFormat参数	宽stride的对齐：请参见表10-10处的widthStride参数 高stride是2对齐	非8K缩放	32*6~4096*4096	请参见表10-10处的outputFormat参数	16*2对齐

• 针对缩放功能，宽高缩放比例范围：[1/32, 16]。
• 对于8K缩放功能，支持缩放、支持YUV420SP NV12与YUV420SP NV21之间的格式转换、不支持抠图。

功能示意图

图10-2 VPC功能示意图（抠图+缩放+叠加）

图10-3 VPC功能示意图（拼接）

性能指标说明

• 对于非8K缩放，VPC性能由于涉及到抠图、缩放等不同的场景，当处理图片的过程中分辨率改变时，以大分辨率来计算性能。例如，对于缩放，缩放后图片的分辨率大于缩放前图片的分辨率，则以缩放后图片的分辨率来计算性能指标；对于抠图，贴图区域的分辨率大于抠图区域的分辨率，则以贴图区域的分辨率来计算性能指标。对于YUV420 SP格式的图片，典型场景性能指标参考如下：

  场景举例	总帧率
  1080p * n路（n<4，1路对应一个线程）	n*360fps
  1080p * n路（n>=4，1路对应一个线程）	1440fps
  4k * n路（n<4，1路对应一个线程）	n*90fps
  4k * n路（n>=4，1路对应一个线程）	360fps

• 对于8K缩放，VPC性能与输出分辨率强相关，输出分辨率越大，处理耗时越久，性能越低，典型场景（输出分辨率为1080p、4k的场景，图片格式为YUV420 SP）性能指标参考如下：

  场景举例	总帧率
  1080p * n路（n=1，1路对应一个线程）	4fps
  1080p * n路（n>=4，1路对应一个线程）	16fps
  4k * n路（n=1，1路对应一个线程）	1fps
  4k * n路（n>=4，1路对应一个线程）	4fps

参考说明

RBG、YUV格式图像的各分量排布示意图。示例：sp图像以yuv420sp为例，packed和rgb图像以argb图像为例。

功能及约束说明

JPEGE功能：实现编码生成.jpg图片。

• JPEGE支持以下格式输入：
  • YUV422 packed（yuyv,yvyu,uyvy,vyuy）
  • YUV420 Semi-planar（NV12，NV21）
• JPEGE支持的分辨率为：

  最大分辨率：8192 * 8192，最小分辨率：32 * 32

• JPEGE输出格式为jpeg，只支持huffman编码，不支持算术编码，不支持渐进编码。

性能指标说明

功能说明

实现.jpg、.jpeg、.JPG、.JPEG图片的解码，对于硬件不支持的格式，会使用软件解码。

解码后，输出如下格式的图片：

jpeg(444) -> yuv444 / yuv420半平面V在前U在后。

jpeg(422) -> yuv422 / yuv420半平面V在前U在后。

jpeg(420) -> yuv420半平面V在前U在后。

jpeg(400) -> yuv420，uv数据采用0 x 80填充。

• JPEGD由于编程规范要求驼峰风格命名方式，原内核风格的入参和出参继续支持，同时提供新的驼峰风格参数供调用方使用，所以JPEGD暂时支持两套参数供用户使用，推荐使用驼峰风格参数。
• 若图片内EOI（End Of Image，标记代码为0XFFD9）之后，还有用户自定义的数据，则JPEGD在对图片进行解码时，会直接清零EOI之后的8字节数据，若用户需要保留这些自定义的数据，则将图片数据读入内存之后，需要提前备份这部分数据，再传给JPEGD处理。

  若需要查看图片内EOI之后是否存在自定义数据，可以使用二进制查看工具打开图片查看，例如下图中的FFD9标记符之后就存在自定义数据。

约束说明

• 关于输入图片的约束：
  • 最大分辨率：8192 * 8192，最小分辨率：32 * 32
  • 只支持Huffman编码，码流的colorspace为YUV，码流的subsample为444/422/420/400；
  • 不支持算术编码；
  • 不支持渐进JPEG格式；
  • 不支持JPEG2000格式；
• 关于硬件约束：
  • 最多支持4张Huffman表，其中包括2 张DC（直流）表和2 张AC（交流）表；
  • 最多支持3张量化表；
  • 只支持8bit采样精度；
  • 只支持对顺序式编码的图片进行解码；
  • 只支持基于DCT（Discrete Cosine Transform）变换的JPEG 格式解码；
  • 只支持一个SOS（Start of Scan）标志的图片解码。
• 关于软件约束：
  • 支持3个SOS标志的图片解码；
  • 支持mcu（Minimum Coded Unit）数据不足的异常图片解码。

性能指标说明

JPEGD性能指标是基于硬件解码的性能，JPEGD硬件解码不支持3个SOS的图片解码，对于硬件不支持的格式，会使用软件解码，软件解码性能参考为1080P*1路 15fps。

功能及约束说明

PNGD功能：实现PNG格式图片的硬件解码。

• PNGD支持以下两种输入格式：

  RGBA、RGB

• PNGD输出格式为：

  RGBA、RGB

• PNGD支持的分辨率

  最大分辨率4096 * 4096，最小分辨率32 * 32。

性能指标说明

功能及约束说明

实现视频的解码。

• VDEC支持两种输入格式：

  H264 bp/mp/hp level5.1 yuv420sp编码的码流。

  H265 8/10bit level5.1 yuv420sp编码的码流。

• VDEC支持的分辨率

  最大分辨率4096 * 4096，最小分辨率128 * 128。

• VDEC输出格式为：yuv420sp压缩后的HFBC数据。

  HFBC，是VDEC输出的一种压缩图像格式，使用这种方式压缩图像，VDEC的处理性能更优。

• 若码流中有坏帧、缺帧等情况，解码器VDEC可能会丢帧。
• 仅支持对隔行扫描方式编码出来的8bit H264码流进行解码，隔行扫描方式编码出来的其它格式的码流，VDEC不支持解码。
• VDEC比较特殊，由于当前内部不是单例模式，所以其对外提供C接口函数与其他不同。

性能指标说明

功能及约束说明

实现YUV420/YVU420图片数据的编码。

• VENC支持以下格式输入：

  YUV420 semi-planar NV12/NV21-8bit

• VENC支持的分辨率

  最大分辨率1920 * 1920，最小分辨率128 * 128。

• VENC输出格式为：

  H264 BP/MP/HP

  H265 MP（仅支持Slice码流）

性能指标说明

注：其它分辨率可以等量估算。