Android(安卓)NDK开发之旅34--FFmpeg音频解码
16lz
2021-01-26
Android NDK开发之旅 目录
前言
基于Android NDK开发之旅33--FFmpeg视频播放这篇文章，我们已经学会视频解码基本过程。这篇文章就对音频解码进行分析。
音频解码和视频解码的套路基本是一样的， 否则怎么会做到音视频同步播放呢？
1.FFmpeg音视解码过程分析
参考视频解码过程，得到音频解码过程
参考视频解码过程
1.1.注册所有组件
av_register_all();这个函数，可以注册所有支持的容器和对应的codec。
1.2.打开输入音频文件
AVFormatContext *pFormatCtx = avformat_alloc_context();avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) 1.3.获取音频文件信息
avformat_find_stream_info(pFormatCtx, NULL) //获取音频流索引位置 int i = 0, audio_stream_idx = -1; for (; i < pFormatCtx->nb_streams; i++) { if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) { audio_stream_idx = i; break; } } if (audio_stream_idx == -1) { LOGI("%s", "找不到音频流"); return; }1.4.根据编解码上下文中的编码id查找对应的解码器
//获取解码器 AVCodecContext *pCodeCtx = pFormatCtx->streams[audio_stream_idx]->codec; AVCodec *codec = avcodec_find_decoder(pCodeCtx->codec_id);1.5.打开解码器
avcodec_open2(pCodeCtx, codec, NULL)来打开解码器，AVFormatContext、AVStream、AVCodecContext、AVCodec四者之间的关系为
1.6.配置音频参数
//输入采样率格式 enum AVSampleFormat in_sample_fmt = pCodeCtx->sample_fmt; //输出采样率格式16bit PCM enum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16; //输入采样率 int in_sample_rate = pCodeCtx->sample_rate; //输出采样率 int out_sample_rate = 44100; //获取输入的声道布局 //根据声道个数获取默认的声道布局(2个声道，默认立体声) //av_get_default_channel_layout(pCodeCtx->channels); uint64_t in_ch_layout = pCodeCtx->channel_layout; //输出的声道布局 uint64_t out_ch_layout = AV_CH_LAYOUT_STEREO; swr_alloc_set_opts(swrCtx, out_ch_layout, out_sample_fmt, out_sample_rate, in_ch_layout, in_sample_fmt, in_sample_rate, 0, NULL); swr_init(swrCtx);1.7. 一帧一帧读取压缩的音频数据AVPacket
while (av_read_frame(pFormatCtx, packet) >= 0) {省略...}1.8.解码一帧音频数据AVPacket->AVFrame
avcodec_decode_video2(pCodecCtx, pFrame, &got_picture, packet)2.关键代码
VideoUtils.class
package com.haocai.ffmpegtest;public class VideoUtils { //音频解码 public native void audioDecode(String input,String output); static{ System.loadLibrary("avutil-54"); System.loadLibrary("swresample-1"); System.loadLibrary("avcodec-56"); System.loadLibrary("avformat-56"); System.loadLibrary("swscale-3"); System.loadLibrary("postproc-53"); System.loadLibrary("avfilter-5"); System.loadLibrary("avdevice-56"); System.loadLibrary("myffmpeg"); }}MainActivity.class
/** * 音频解码 */ public void doAudioDecode(){ String input = new File(Environment.getExternalStorageDirectory(),"说散就散.mp3").getAbsolutePath(); String output = new File(Environment.getExternalStorageDirectory(),"说散就散.pcm").getAbsolutePath(); VideoUtils player = new VideoUtils(); player.audioDecode(input, output); Toast.makeText(this,"正在解码...",Toast.LENGTH_SHORT).show(); }ffmpeg_voicer.c
#include #include #include #include #include //解码#include "include/libavcodec/avcodec.h"//封装格式处理#include "include/libavformat/avformat.h"//像素处理#include "include/libswscale/swscale.h"//重采样#include "include/libswresample/swresample.h"#define LOG_TAG "ffmpegandroidplayer"#define LOGI(FORMAT,...) __android_log_print(ANDROID_LOG_INFO,LOG_TAG,FORMAT,##__VA_ARGS__);#define LOGE(FORMAT,...) __android_log_print(ANDROID_LOG_ERROR,LOG_TAG,FORMAT,##__VA_ARGS__);#define LOGD(FORMAT,...) __android_log_print(ANDROID_LOG_DEBUG, LOG_TAG,FORMAT, ##__VA_ARGS__)//音频解码 采样率 新版版可达48000 * 4#define MAX_AUDIO_FRME_SIZE 2 * 44100//音频解码JNIEXPORT void JNICALL Java_com_haocai_ffmpegtest_VideoUtils_audioDecode(JNIEnv *env, jobject jobj, jstring input_jstr, jstring output_jstr) { const char* input_cstr = (*env)->GetStringUTFChars(env, input_jstr, NULL); const char* output_cstr = (*env)->GetStringUTFChars(env, output_jstr, NULL); LOGI("%s", "init"); //注册组件 av_register_all(); AVFormatContext *pFormatCtx = avformat_alloc_context(); //打开音频文件 if (avformat_open_input(&pFormatCtx, input_cstr, NULL, NULL) != 0) { LOGI("%s", "无法打开音频文件"); return; } //获取输入文件信息 if (avformat_find_stream_info(pFormatCtx, NULL) < 0) { LOGI("%s", "无法获取输入文件信息"); return; } //获取音频流索引位置 int i = 0, audio_stream_idx = -1; for (; i < pFormatCtx->nb_streams; i++) { if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) { audio_stream_idx = i; break; } } if (audio_stream_idx == -1) { LOGI("%s", "找不到音频流"); return; } //获取解码器 AVCodecContext *pCodeCtx = pFormatCtx->streams[audio_stream_idx]->codec; AVCodec *codec = avcodec_find_decoder(pCodeCtx->codec_id); if (codec == NULL) { LOGI("%s", "无法获取加码器"); return; } //打开解码器 if (avcodec_open2(pCodeCtx, codec, NULL) < 0) { LOGI("%s", "无法打开解码器"); return; } //压缩数据 AVPacket *packet = (AVPacket *)av_malloc(sizeof(AVPacket)); //解压缩数据 AVFrame *frame = av_frame_alloc(); //frame->16bit 44100 PCM 统一音频采样格式与采样率 SwrContext *swrCtx = swr_alloc(); //重采样设置参数--------------start //输入采样率格式 enum AVSampleFormat in_sample_fmt = pCodeCtx->sample_fmt; //输出采样率格式16bit PCM enum AVSampleFormat out_sample_fmt = AV_SAMPLE_FMT_S16; //输入采样率 int in_sample_rate = pCodeCtx->sample_rate; //输出采样率 int out_sample_rate = 44100; //获取输入的声道布局 //根据声道个数获取默认的声道布局(2个声道，默认立体声) //av_get_default_channel_layout(pCodeCtx->channels); uint64_t in_ch_layout = pCodeCtx->channel_layout; //输出的声道布局 uint64_t out_ch_layout = AV_CH_LAYOUT_STEREO; swr_alloc_set_opts(swrCtx, out_ch_layout, out_sample_fmt, out_sample_rate, in_ch_layout, in_sample_fmt, in_sample_rate, 0, NULL); swr_init(swrCtx); //获取输入输出的声道个数 int out_channel_nb = av_get_channel_layout_nb_channels(out_ch_layout); LOGI("out_count:%d", out_channel_nb); //重采样设置参数--------------end //16bit 44100 PCM 数据 uint8_t *out_buffer = (uint8_t *)av_malloc(MAX_AUDIO_FRME_SIZE); FILE *fp_pcm = fopen(output_cstr, "wb"); int got_frame = 0, framecount = 0, ret; //6.一帧一帧读取压缩的音频数据AVPacket while (av_read_frame(pFormatCtx, packet) >= 0) { if (packet->stream_index == audio_stream_idx) { //解码 ret = avcodec_decode_audio4(pCodeCtx, frame, &got_frame, packet); if (ret < 0) { LOGI("%s", "解码完成"); break; } //非0，正在解码 if (got_frame > 0) { LOGI("解码：%d", framecount++); swr_convert(swrCtx, &out_buffer, MAX_AUDIO_FRME_SIZE, frame->data, frame->nb_samples); //获取sample的size int out_buffer_size = av_samples_get_buffer_size(NULL, out_channel_nb, frame->nb_samples, out_sample_fmt, 1); fwrite(out_buffer, 1, out_buffer_size, fp_pcm); } } av_free_packet(packet); } fclose(fp_pcm); av_frame_free(&frame); av_free(out_buffer); swr_free(&swrCtx); avcodec_close(pCodeCtx); avformat_close_input(&pFormatCtx); (*env)->ReleaseStringUTFChars(env, input_jstr, input_cstr); (*env)->ReleaseStringUTFChars(env, output_jstr, output_cstr);} 说明：其它视频格式也支持
3.输出结果
3.1Log输出
12-12 14:23:40.733 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: init12-12 14:23:40.803 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: out_count:212-12 14:23:40.843 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: 解码：012-12 14:23:40.843 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: 解码：112-12 14:23:40.843 15985-15985/com.haocai.ffmpegtest I/ffmpegandroidplayer: 解码：23.1.mp3格式解码生成.pcm格式数据
源码下载
Github：https://github.com/kpioneer123/FFmpegTest
特别感谢：
CrazyDiode
更多相关文章
- Android(安卓)Annotations框架 配置及使用（Windows 7 + Android(
- Android之Bitmap高效缓存以及android缓存策略
- android 获取文件大小
- Android中APP、AMS、WMS的Binder IPC
- Android(安卓)华为手机音频设置播放倍速mMediaPlayer.getPlaybac
- Android中通过GPS或NetWork获取当前位置的经纬度
- Android异步加载获取网络数据(图片)
- Android(安卓)SharedPreferences详解
- Android获取CPU，内存，磁盘使用率