MediaCodec是用来访问系统底层编解码器的一个类，通常与MediaExtractor, MediaSync, MediaMuxer, MediaCrypto, MediaDrm, Image, Surface, AudioTrack等一起使用。作为与底层编解码器交流的工作类，MediaCodec的一般数据流图如下[官网图]：

客户端为 MediaCodec提供需要编解码的数据[存在输入缓存区]， MediaCodec与底层编解码器交互，拿到处理后结果填充在输出缓存区供客户端使用，当前这种处理过程是异步的。

---

##编解码器简介 ###数据类型 编解码器支持三种数据类型：压缩数据，原始音频数据，原始视频数据，以上三种数据都可以使用ByteBuffer进行处理,需要注意的是对于原始视频数据我们应该使用Surface以提高编解码器性能，Surface可以直接使用本地视频缓冲区中的内容以规避将其映射或复制到ByteBuffer内，因此Surface更高效。通常情况下， 使用Surface时我们不能访问原始视频数据，不过我们可以通过ImageReader拿到一个不安全的解码数据帧。在ByteBuffer模式下，一些本地缓存数据可能被映射到ByteBuffer内，此时我们可以使用Image/getInput/OutputImage(int)来获取视频数据中的某一帧，这样仍然会比使用ByteBuffer高效。 ####压缩缓冲区 解码缓冲区和编码缓冲区中包含了按照特定格式生成的压缩数据，如果是视频类型，通常包含着视频中的某一帧压缩数据，如果是音频类型，则包含着一个可访问的音频单元(一个编码的音频单元通常包含几毫秒这种音频单元)，但这个要求并不是特别高，有时缓冲区中也可能含有多个这样的音频单元，在这两种情况下，缓存不会在任意的字节边界上开始或结束，而是在帧或可访问单元的边界上开始或结束。 ####原始音频缓冲区 原始音频数据缓冲区包含完整的PCM音频数据帧，每一个音频数据帧都是按照通道顺序传递的每一个通道的样本数据，同时音频数据帧也是一个按照本机字节顺序的16位带符号整数。PCM时一种音频编码格式。 我们可以通过如下方式使用MediaCodec获取音频数据帧：

short[] getSamplesForChannel(MediaCodec codec, int bufferId, int channelIx) {   //获取输出缓存区的ByteBuffer   ByteBuffer outputBuffer = codec.getOutputBuffer(bufferId);   MediaFormat format = codec.getOutputFormat(bufferId);   ShortBuffer samples = outputBuffer.order(ByteOrder.nativeOrder()).asShortBuffer();   int numChannels = formet.getInteger(MediaFormat.KEY_CHANNEL_COUNT);   if (channelIx < 0 || channelIx >= numChannels) {     return null;   }   short[] res = new short[samples.remaining() / numChannels];   for (int i = 0; i < res.length; ++i) {     res[i] = samples.get(i * numChannels + channelIx);   }   return res; }复制代码

####原始视频缓冲区 在ByteBuffer模式下，视频缓存(video buffers)根据它们的颜色格式（color format）进行展现。你可以通过调用getCodecInfo().getCapabilitiesForType(…).colorFormats方法获得编解码器支持的颜色格式数组。视频编解码器可以支持三种类型的颜色格式：

• 本地原始视频格式：这种格式通过COLOR_FormatSurface标记，并可以与输入或输出Surface一起使用;
• 灵活的YUV缓存格式：(例如:COLOR_FormatYUV420Flexible)利用一个输入或输出Surface，或在在ByteBuffer模式下，可以通过调用getInput/OutputImage(int)方法使用这些格式;
• 其他特定的格式：通常只在ByteBuffer模式下被支持。有些颜色格式是特定供应商指定的。其他的一些被定义在 MediaCodecInfo.CodecCapabilities中。这些颜色格式同flexible format相似，你仍然可以使用getInput/OutputImage(int)方法;

从Android5.1以后，所以的视频编解码器均支持YUV格式。 #####在旧设备上获取原始视频的ByteBuffer 在Android5.0和 Image API支持之前，我们可以通过KEY_STRIDE和KEY_SLICE_HEIGHT这两个输出格式值来理解原始输出缓冲区的布局。

这里要注意在有些设备上slice-height的值为0，这样可能导致slice-height和视频帧的高度一样，或者slice-height的值会被指定成视频帧高度相关的值(通常是2的整数倍)，然而我们并没有一个标准的或者简单的方式去告知slice-height的正确值，此外，垂直方向上的U分量也没有指定或定义，通常情况下该值是slice-height的一半。

KEY_WIDTH 和KET_HEIGHT指定了视频帧的宽度和高度，然而对于大多数视频帧而言，宽高取决于'crop rectangle'.

可以通过下列的key从输出格式中获取crop rectangle，如果不存在这些值，视频就是整个视频帧，crop rectangle作用于任何旋转操作之前，'crop-left','crop-top','crop-rigt','crop-bottom'四个值分别指定了视频帧的最大最小x，y方向的值，随后可以通过如下代码计算视频帧的完整宽高(旋转前):

MediaFormat format = decoder.getOutputFormat(…); int width = format.getInteger(MediaFormat.KEY_WIDTH); if (format.containsKey("crop-left") && format.containsKey("crop-right")) {     width = format.getInteger("crop-right") + 1 - format.getInteger("crop-left"); } int height = format.getInteger(MediaFormat.KEY_HEIGHT); if (format.containsKey("crop-top") && format.containsKey("crop-bottom")) {     height = format.getInteger("crop-bottom") + 1 - format.getInteger("crop-top"); }复制代码

这里也要注意BuffeInfo.offset并不是在我们设备上都是一致的，有些设备上，offset指向crop rectangle的左顶点，有些设备上指向的是整个视频帧的左顶点。

###MediaCodec状态变化 参考官网文件描述，我绘制了如下MediaCodec生命周期图：

如上图所示，当我们使用工厂方法创建一个MediaCodec时，该MediaCodec对象处于Uninitialized状态，通过调用configure函数使其转入Configured状态[需要配合使用MediaFormat]，示例代码如下：

//create MediaCodec use factory mothodmEncoder = MediaCodec.createEncoderByType(MIME_TYPE);复制代码

//MediaCodec configure   MediaFormat format = MediaFormat.createVideoFormat(MIME_TYPE, mWidth, mHeight);    format.setInteger(MediaFormat.KEY_COLOR_FORMAT,            MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface);    format.setInteger(MediaFormat.KEY_BIT_RATE, mBitRate);    format.setInteger(MediaFormat.KEY_FRAME_RATE, FRAME_RATE);    format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, IFRAME_INTERVAL);    mEncoder.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);复制代码

其中MIME_TYPE可以有以下几种情形：

• "video/x-vnd.on2.vp8" - VP8 video (i.e. video in .webm)
• "video/x-vnd.on2.vp9" - VP9 video (i.e. video in .webm)
• "video/avc" - H.264/AVC video
• "video/hevc" - H.265/HEVC video
• "video/mp4v-es" - MPEG4 video
• "video/3gpp" - H.263 video
• "audio/3gpp" - AMR narrowband audio
• "audio/amr-wb" - AMR wideband audio
• "audio/mpeg" - MPEG1/2 audio layer III
• "audio/mp4a-latm" - AAC audio (note, this is raw AAC packets, not packaged in LATM!)
• "audio/vorbis" - vorbis audio
• "audio/g711-alaw" - G.711 alaw audio
• "audio/g711-mlaw" - G.711 ulaw audio

随后调用`MediaCodec#start`方法使其进入Executing状态，这时编解码器就开始准备工作了，当需要停止编解码时，可以调用`MediaCodec#stop`方法，调用`MediaCodec#reset`方法可以将编解码器回置到Uninitiallized状态，使用完编解码器一定要调用`MediaCodec#release`方法释放资源。 ##创建MediaCodec 在上一部分简单介绍了`MediaCodec`的创建，除了调用`public static MediaCodec createDecoderByType(@NonNull String mimeType)`创建`MediaCodec`对象外，我们还可以通过使用`MediaCodecList`来获取一个`MediaCodec`对象，步骤如下： 1.首先使用`MediaExtractor.getTrackFormat`来获得一个你需要的`MediaFormat`对象，随后调用`MediaFormat.setFeatureEnabled`为其添加特定的属性支持 2.按照现有的`MediaFormat`对象获取可解码的`MediaCodec` 名称[使用`MediaCodecList.findDecoderForFormat`]，随后使用`createByCodecName(String)`创建一个编解码器

注意在Android5.0以上，提交给MediaCodecList.findDecoder/EncoderForFormat的MediaFormat对象中不能包含帧率信息，可以通过MediaFormat.setString(MediaFormat.KEY_FRAME_RATE, null)来清除当前存在的所有帧率信息。

###创建安全的解码器（Creating secure decoders） 　　在Android 4.4（KITKAT_WATCH）及之前版本，安全的编解码器（secure codecs）没有被列在MediaCodecList中，但是仍然可以在系统中使用。安全编解码器只能够通过名字进行实例化，其名字是在常规编解码器的名字后附加.secure标识（所有安全编解码器的名字都必须以.secure结尾），调用createByCodecName(String)方法创建安全编解码器时，如果系统中不存在指定名字的编解码器就会抛出IOException异常。 　　 　　从Android 5.0(LOLLIPOP）及之后版本，你可以在媒体格式中使用FEATURE_SecurePlayback属性来创建一个安全编解码器。

最新文章改在微信公众号上推送，有需要的小伙伴可以关注一波