Android音视频编码录制mp4

Android录制视频有多种方法：MediaRecorder, MediaProjection, MediaMuxer, OpenGL等，每种方法都有其应用场景。

这里介绍的是用MediaCodec + MediaMuxer录制视频，这种方式是将音频流和视频流用MediaCodec编码，然后用MediaMuxer混流合成mp4视频，这种方式的通用性较好，它不关心数据来源，只要能获得音视频流数据，就能录制。

音视频开发自有完整体系，其中的知识点和注意点（坑）也很多。网上的文章和开源项目虽不少，有些点却鲜有提及。这里将我开发中遇到的问题和一些小结记录下来，如有错误，还请指教。

1. 数据源

视频来源选择Camera2，给Camera2添加ImageReader，就能获得实时的图像数据。具体操作可以看这篇文章。

给ImageReader设置的输出格式是ImageFormat.YUV_420_888，这种格式是官方建议通用性最好的，但是它只能保证输出是YUV420格式，而YUV420分很多种，具体格式不同设备是不同的，可能是YUV420P，也可能是YUV420SP，后面编码还要考虑这个问题。

从ImageReader中获取byte[]数据方法如下

    /**     * 从ImageReader中获取byte[]数据     */    public static byte[] getBytesFromImageReader(ImageReader imageReader) {        try (Image image = imageReader.acquireNextImage()) {            final Image.Plane[] planes = image.getPlanes();            ByteBuffer b0 = planes[0].getBuffer();            ByteBuffer b1 = planes[1].getBuffer();            ByteBuffer b2 = planes[2].getBuffer();            int y = b0.remaining(), u = y >> 2, v = u;            byte[] bytes = new byte[y + u + v];            if(b1.remaining() > u) { // y420sp                b0.get(bytes, 0, b0.remaining());                b1.get(bytes, y, b1.remaining()); // uv            } else { // y420p                b0.get(bytes, 0, b0.remaining());                b1.get(bytes, y, b1.remaining()); // u                b2.get(bytes, y + u, b2.remaining()); // v            }            return bytes;        } catch (Exception e) {            e.printStackTrace();        }        return null;    }

从ImageReader中取得Image，YUV数据就在Image的Plane[]中，Plane也就是平面有3个。Plane[0]是Y平面，数据量等于图像的像素个数，用plane.getBuffer().remaining()方法获得。
YUV420P格式下Plane[1]是U平面，数据量是Y/4，Plane[2]是V平面，数据量也是Y/4。
YUV420SP格式下Plane[1]和Plane[2]都是UV平面，它们数据基本相同，只是位置错开了一位。一般情况下用Plane[1]中的数据即可，Plane[1]的数据量可能是Y/2，也可能是Y/2 - 1，虽然差那一位数据在显示上没有影响，但会导致创建的数组大小不对。

音频来源选择AudioRecord，配置参数，启动，然后从单独线程中用AudioRecord.read()方法不断地循环读取数据。

2. 编码格式

视频编码用MediaCodec，根据MIME_TYPE = "video/avc"选择设备支持的编码器和colorFormat

    private MediaCodecInfo selectSupportCodec(String mimeType) {        int numCodecs = MediaCodecList.getCodecCount();        for (int i = 0; i < numCodecs; i++) {            MediaCodecInfo codecInfo = MediaCodecList.getCodecInfoAt(i);            if (!codecInfo.isEncoder()) {                continue;            }            String[] types = codecInfo.getSupportedTypes();            for (int j = 0; j < types.length; j++) {                if (types[j].equalsIgnoreCase(mimeType)) {                    return codecInfo;                }            }        }        return null;    }    /**     * 根据mime类型匹配编码器支持的颜色格式     */    private int selectSupportColorFormat(MediaCodecInfo mCodecInfo, String mimeType) {        MediaCodecInfo.CodecCapabilities capabilities = mCodecInfo.getCapabilitiesForType(mimeType);        HashSet colorFormats = new HashSet<>();        for(int i : capabilities.colorFormats) colorFormats.add(i);        if(colorFormats.contains(MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar)) return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420SemiPlanar;        if(colorFormats.contains(MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar)) return MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Planar;        return 0;    }

colorFormat颜色格式很重要，它代表了编码器接受的图像格式。输入其他格式的图像，会导致编码失败或者视频的图像颜色错乱。
目前来说：大部分手机都支持COLOR_FormatYUV420SemiPlanar格式（实测是NV12），因此首选这个格式；少数手机（如红米Note4，魅族MX5）不支持COLOR_FormatYUV420SemiPlanar，而支持COLOR_FormatYUV420Planar格式（实测是I420）；这两种格式基本能覆盖所有的设备了。

前面说过Camera2设置ImageFormat.YUV_420_888后输出的图像格式是YUV420P或YUV420SP，实测格式是I420和NV12，它们跟视频编码器的支持的格式吻合，可以直接提供给视频编码器，当然一般还需要旋转。如果你的图像不是从Camera2获取的，或者是其他格式，就要将图像转换成编码器支持的格式。
（根据我的测试，如果手机支持COLOR_FormatYUV420SemiPlanar编码格式，那么它的Camera2相机输出的就是NV12格式；如果手机只支持COLOR_FormatYUV420Planar编码格式，那么它的Camera2相机输出的就是I420格式。因此我猜测Camera2输出用的就是相同的硬件视频编码器。）

音频编码也用MediaCodec，根据MIME_TYPE = "audio/mp4a-latm"选择编码器即可，基本没有设备差异问题。

3. 合成视频

主要步骤

用MediaCodec分别开始编码图像和声音
将编码时获得的图像和声音的MediaFormat添加到MediaMuxer
启动MediaMuxer将编码后的图像和声音合成mp4

3.1 编码

编码器输入byte[]原始数据，编码后输出ByteBuffer数据。
编码比较耗时，需要工作在单独的线程中。
编码的输入和输出是异步的，也就是输入数据，然后用循环不停获取输出。
编码一段时间后才能获取到MediaCodec.INFO_OUTPUT_FORMAT_CHANGED信息，这代表输出格式确定了，也就能向MediaMuxer添加轨道了。

视频编码器输入和输出如下

    // 视频编码器输入    private void feedMediaCodecData(byte[] data, long timeStamp) {        int inputBufferIndex = mVideoEncodec.dequeueInputBuffer(TIMES_OUT);        if (inputBufferIndex >= 0) {            ByteBuffer inputBuffer = mVideoEncodec.getInputBuffer(inputBufferIndex);            if (inputBuffer != null) {                inputBuffer.clear();                inputBuffer.put(data);            }            Log.e("chao", "video set pts......." + (timeStamp) / 1000 / 1000);            mVideoEncodec.queueInputBuffer(inputBufferIndex, 0, data.length, System.nanoTime() / 1000                    , MediaCodec.BUFFER_FLAG_KEY_FRAME);        }    }    // 视频编码器输出                MediaCodec.BufferInfo mBufferInfo = new MediaCodec.BufferInfo();                int outputBufferIndex;                do {                    outputBufferIndex = mVideoEncodec.dequeueOutputBuffer(mBufferInfo, TIMES_OUT);                    if (outputBufferIndex == MediaCodec.INFO_TRY_AGAIN_LATER) {//                        Log.i(TAG, "INFO_TRY_AGAIN_LATER");                    } else if (outputBufferIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {                        synchronized (H264EncodeConsumer.this) {                            newFormat = mVideoEncodec.getOutputFormat();                            if (mMuxerRef != null) {                                MediaMuxerUtil muxer = mMuxerRef.get();                                if (muxer != null) {                                    muxer.addTrack(newFormat, true);                                }                            }                        }                        Log.i(TAG, "编码器输出缓存区格式改变，添加视频轨道到混合器");                    } else {                        ByteBuffer outputBuffer = mVideoEncodec.getOutputBuffer(outputBufferIndex);                        int type = outputBuffer.get(4) & 0x1F;                        Log.d(TAG, "------还有数据---->" + type);                        if (type == 7 || type == 8) {                            Log.e(TAG, "------PPS、SPS帧(非图像数据)，忽略-------");                            mBufferInfo.size = 0;                        } else if (type == 5) {                            if (mMuxerRef != null) {                                MediaMuxerUtil muxer = mMuxerRef.get();                                if (muxer != null) {                                    Log.i(TAG, "------编码混合  视频关键帧数据-----" + mBufferInfo.presentationTimeUs / 1000);                                    muxer.pumpStream(outputBuffer, mBufferInfo, true);                                }                                isAddKeyFrame = true;                            }                        } else {                            if (isAddKeyFrame) {                                if (isAddKeyFrame && mMuxerRef != null) {                                    MediaMuxerUtil muxer = mMuxerRef.get();                                    if (muxer != null) {                                        Log.i(TAG, "------编码混合  视频普通帧数据-----" + mBufferInfo.presentationTimeUs / 1000);                                        muxer.pumpStream(outputBuffer, mBufferInfo, true);                                    }                                }                            }                        }                        mVideoEncodec.releaseOutputBuffer(outputBufferIndex, false);                    }                } while (outputBufferIndex >= 0);

音频编码器工作是类似的，由于我用的AudioRecord获取声音数据，编码时会有一个问题：

AudioRecord获取音频数据是用死循环不断获取的，这样获取声音的速度太快，编码又是耗时的，就会造成编码速度赶不上声音获取速度，也就是生产速度远大于消费速度，导致大部分数据都处理不完，视频中声音出问题。
音频编码器能设置MediaFormat.KEY_MAX_INPUT_SIZE，也就是输入数据包的大小。我采取的方法是给它设置一个较大的值，获取到声音数据后先缓存起来，拼接成较大的数据包后再提供给编码器，这样就能处理过来了。

3.2 合成

视频合成使用MediaMuxer合成器，用addTrack()方法添加视频轨道和声音轨道后才能启动，启动后用writeSampleData()方法输入数据后，直接输出到指定的mp4文件中。

完整代码

https://github.com/rome753/android-encode-mp4