Android(安卓)JNI 篇 - ffmpeg 获取音视频缩略图
16lz
2021-01-26
GIF.gif还是老规矩先上效果图:
一、使用 FFmpegMediaMetadataRetriever 初步解决问题
Android 原生的 SDK 提供的 api 中并没有提供在线获取缩略图的接口(只有本地的)
本地获取音视频缩略图代码(温习一下):
private InputStream getAudioInPutream(String imageUri) throws IOException { InputStream ret = null; MediaMetadataRetriever fmmr; try { fmmr = new MediaMetadataRetriever(); fmmr.setDataSource(imageUri); //先获取封面 byte[] embedPic = fmmr.getEmbeddedPicture(); ret = new ByteArrayInputStream(embedPic); } catch (Exception ex) { ex.printStackTrace(); } finally { if(fmmr != null) { fmmr.release(); } } if (ret != null) { return ret; } else { throw new IOException("Request video thumb failed by ffmpeg"); }}
灵机一动的我,好像 ffmpeg 可以获取音视频缩略图。 赶紧找找有没有人这么干了,结果还真有在 github 上找到一个 开源项目
https://github.com/wseemann/FFmpegMediaMetadataRetriever
大神终究还是大神。666。好了废话不说直接用起来:
private Bitmap getVideoThumBitmap(String imageUri) throws IOException { ImageInputStream ret = null; Bitmap ret = null; try { fmmr = new FFmpegMediaMetadataRetriever(); fmmr.setDataSource(imageUri); //获取视频的时长 String value = fmmr.extractMetadata(FFmpegMediaMetadataRetriever.METADATA_KEY_DURATION); long frameTime = -1; if (value != null) { try { frameTime = Integer.parseInt(value); } catch (NumberFormatException e) { } } if (frameTime > 0) { frameTime = (frameTime / 2) * 1000; } else { frameTime = 4000000; } //获取视频缩略图 ret = fmmr.getFrameAtTime(frameTime, FFmpegMediaMetadataRetriever.OPTION_CLOSEST_SYNC) } catch (Exception ex) { ex.printStackTrace(); } finally { try { if (fmmr != null) { fmmr.release(); } } catch (Throwable e) { } } return ret;}
用的感觉还不错。过了几天老板把我叫过去怼了一顿,加了这视频缩略图 app 用着用着怎么闪退了。而且还怎么慢,切换界面还不能取消之前请求...(心中一千万个草拟吗奔腾而过..)
好吧来看看 log,尼玛 ffmpeg 的 log 一点也没有打印(原因是编译so库的时候 没有--enable-debug 因为不加 log 可以减少 so 的体积)... 好吧看来这个库还是不完美,还是的自己填上这个坑。看了一下作者这个库,ffmpeg 库已经三年没有更新了在这日新月异科技迅猛发达的时代,这是大件事.. 意思就是要我编译一个 最新的版本的 ffmpeg 换上?
二、优化 FFmpegMediaMetadataRetriever —— 替换新版本 ffmpeg
来吧动手起来,先到官网下载最新的
ffmpeg 源码 ,
搭建 VMware + Ubuntu 环境(这个网上自己找下教程),下载 linux 平台下的 ndk。 搞定!!
接下来就是写好编译脚本放 ffmpeg 源码的根目录,脚本语言 :build_android.sh
代码 。
接下来编译:
- ctrl+alt+t 打开
ubuntu
终端 - cd 到
build_android.sh
文件所在的目录 - sudo ./build_android.sh (此处用超级权限去执行)
- 等3分钟..
- 编译结束
- make
- sudo make install (打包 so 和头文件.h )
好了,居然出现错误(尼玛我这是官网的代码还出错) :
libavcodec/hevc_mvs.c: In function 'derive_spatial_merge_candidates':libavcodec/hevc_mvs.c:368:23: error: 'y0000000' undeclared (first use in this function)libavcodec/hevc_mvs.c:368:23: note: each undeclared identifier is reported only once for each function it appears inlibavcodec/hevc_mvs.c:368:23: error: 'x0000000' undeclared (first use in this function)
其实是宏定义的问题,解决方法:
这个文件中 ffmpeg\libavcodec\hevc_mvs.c 里面
TAB_MVF_PU(B0)
换成TAB_MVF_PU(0)
为什么呢?因为编译的时候,B0 = 0000000 通过
TAB_MVF_PU
宏定义里面用了连接符##
,得出的变量名为x0000000
或者y0000000
,其实 ffmepg 团队写这代码想要的是x0
和y0
这两个变量名。
好了解决,后面有这个问题直接按照上面的方法 把B0
换成 0 即可。好了so 出来了
废了我大半天功夫,终于搞出来了。同一份 so 只要名字最长的那个,因为最后的链接都是链接到名字最长的那个 so,重命名 libavcodec.so.57.107.100
为 libavcodec.so
(后面三个 so 同样去掉版本号) 然后替换到原工程FFmpegMediaMetadataRetriever
相同位置下,以及把 include
文件夹替换掉,好了一跑,果然不闪退了,视频缩略图获取更加快了。新版本果然优化了很多东西,至于是什么,后面有空再去研究..
三、优化 FFmpegMediaMetadataRetriever —— 加入中断机制
终于替换掉了旧版本 ffmpeg,可是还是无法中断缩略图的获取,原项目里面没有 取消的缩略图的 api ,毕竟视频获取缩略图还是挺耗时的,因为要去解析帧数据。如果大量请求 视频缩略图,切换界面后,或者在一个 RecyclerView
快速上拉又不能取消请求。只能等着前面的缩略图一个个加载出来,才能加载到当前界面,这体验简直不能忍。
为了解决这问题,就要去修改原作者的 jni 代码 。动起手来!!
找到耗时的接口:
- avformat_open_input // 超级耗时接口,有时候能耗时10s+
- avformat_find_stream_info // 第二耗时接口
- av_read_frame // 第三耗时接口
java 层加入取消接口:
nativeCancelRequest();
接口具体的实现是通过:
1. 设置一个结构体
typedef struct { time_t lasttime; //记录请求开始当下时间 int timeout; //超时时间 单位 秒 int interrupt; //1 表示退出请求,0 继续请求} Runner;
2.通过 ffmpeg
回调的接口,不断访问 Runner
是否需要取消
// 回调函数int interruptCallback(void *p) { Runner *r = (Runner *) p; if (r->lasttime > 0) { if ((time(NULL) - r->lasttime > r->timeout) || (r->interrupt == 1)) { return 1; } } return 0;} state->pFormatCtx->interrupt_callback.callback = interruptCallback;
3.需要取消的时候 通过接口 nativeCancelRequest
把对应线程的 Runner
中的 interrupt
置 1.
完美退出!!
好了具体细节看我的源代码。FFmpegMediaMetadataRetriever
最后祝大家元旦快乐。迎接新的 2018 年!!
更多相关文章
- Android(安卓)OTG U盘文件读写
- Android(安卓)点击Notification事件处理
- 使用Criteria确定android location provider
- android通过MediaProjectionManager录屏关联MediaCodec获取h264
- Android通过Apache HTTP访问HTTP资源
- 【Android】 解析Json 数据示例
- 把文件存放在SDCard
- Android获取时间
- android5.1 以太网启动已经修改为静态IP