FFMpeg 影像解碼操作

前篇有紀錄如何自行編譯 FFMpeg,本篇要記錄 FFMpeg 的使用方式,現在的 FFMpeg Library 已經算很好用惹,官方也有釋出一些 example 可以參考,網路上也很多高手的教學,真低棒!

FFMpeg 是一個開源免費跨平臺的視訊和音訊流方案,提供一些 Library 給那些想自行編寫應用的開發者,也就看到市面上的一些影音軟體會採用 FFMpeg 去做編寫。

  • libavformat :用於各種音視訊封裝格式的生成和解析,包括獲取解碼所需資訊以生成解碼上下文結構
    和讀取音視訊幀等功能;
  • libavcodec :用於各種型別聲音/影象編解碼;
  • libavutil :包含一些公共的工具函式;
  • libswscale :用於視訊場景比例縮放、色彩對映轉換;
  • libpostproc:用於後期效果處理;

網路上有很多參考範例,但由於工作上要用到裝置串流影像,並即時顯示在應用程式上,那些官方範例都是讀取影音檔案然後就知道該檔案所需要的解碼與一些資訊,所以這邊紀錄當時的方法。

Created with Raphaël 2.2.0影像 data bufferavcodec__find_decoderavcodec_open2set avpacket infodecodesws_getContextav_image_fill_arrayssws_scalefree/release

步驟說明:

  1. 首先獲得影像 buffer
  2. 先知道該影像 buffer 是哪種 codec 形式,那也把該影像格式(寬、高等)相關資訊也都放入 AVCodecContext
  3. 初始化AVCodeContext以使用給定的AVCodec
  4. 將第一步驟的影像 buffer 放入到 AVPacket 內
  5. 透過 avcodec_send_packetavcodec_receive_frame 來解碼,並獲取解碼後的 Frame
  6. 返回一個 SwsContext。需要它來執行 sws_scale() 進行縮放/轉換操作
  7. 填充 AVFrame 數據緩衝空間
  8. 進行縮放/轉換操作
int initFFmpeg(AVCodecContext **outCodecCtx, unsigned width, unsigned height) { AVCodec *pCodec = avcodec_find_decoder(AV_CODEC_ID_MJPEG); if(!pCodec) { return -1; } AVCodecContext *pCodecCtx = avcodec_alloc_context3(pCodec); pCodecCtx->thread_count = 2; pCodecCtx->thread_type = FF_THREAD_SLICE; pCodecCtx->width = width; pCodecCtx->height = height; if(avcodec_open2(pCodecCtx, pCodec, NULL) < 0) { avcodec_free_context(&pCodecCtx); pCodecCtx = 0; pCodec = 0; return -1; } *outCodecCtx = pCodecCtx; return 0; } int jpgDecode(const unsigned char *src, unsigned len, unsigned width, unsigned height, unsigned char *buffer) { AVCodecContext *pCodecCtx = 0; AVFrame *pFrame; AVFrame *pFrameRGB; AVPacket *packet; unsigned char *inBuffer = (unsigned char *)src; unsigned char *outBuffer = (unsigned char *)buffer; if(initFFmpeg(&pCodecCtx, width, height) < 0) { return -1; } pFrame = av_frame_alloc(); if(!pFrame) { freeFFmpeg(pCodecCtx); return -1; } pFrameRGB = av_frame_alloc(); if(!pFrameRGB) { av_free(pFrame); freeFFmpeg(pCodecCtx); ReleaseMutex(mutex); return -1; } packet = av_packet_alloc(); packet->data = inBuffer; packet->size = len; // decode int ret = avcodec_send_packet(pCodecCtx, packet); if (ret == AVERROR(EAGAIN)){ // Decoder can't take packets right now. Make sure you are draining it. return -1; }else if (ret < 0){ // Failed to send the packet to the decoder return -1; } if(ret == 0) { int decodeFrame = avcodec_receive_frame(pCodecCtx, pFrame); if (decodeFrame == AVERROR(EAGAIN) || decodeFrame == AVERROR_EOF){ // The decoder doesn't have enough data to produce a frame // Not an error unless we reached the end of the stream // Just pass more packets until it has enough to produce a frame av_frame_free(&pFrame); av_freep(pFrame); return -1; }else if (decodeFrame < 0){ // Failed to get a frame from the decoder av_frame_free(&pFrame); av_freep(pFrame); return -1; } } // 由於該版本 AV_PIX_FMT_YUVJ420P...等 要被棄用,因此目前只能先強制換成新的 type AVPixelFormat pixFormat; switch (pCodecCtx->pix_fmt) { case AV_PIX_FMT_YUVJ420P : pixFormat = AV_PIX_FMT_YUV420P; break; case AV_PIX_FMT_YUVJ422P : pixFormat = AV_PIX_FMT_YUV422P; break; case AV_PIX_FMT_YUVJ444P : pixFormat = AV_PIX_FMT_YUV444P; break; case AV_PIX_FMT_YUVJ440P : pixFormat = AV_PIX_FMT_YUV440P; break; default: pixFormat = pCodecCtx->pix_fmt; } struct SwsContext *img_convert_ctx; img_convert_ctx = sws_getContext(pCodecCtx->width, // 原始影像寬度 pCodecCtx->height, // 原始影像高度 pixFormat, // 原始影像格式 pCodecCtx->width, // 輸出影像寬度 pCodecCtx->height, // 原始影像高度 AV_PIX_FMT_RGB32, // 輸出影像格式 SWS_FAST_BILINEAR, // 變換尺寸方法 NULL, NULL, NULL); if(!img_convert_ctx) { av_frame_free(&pFrame); av_frame_free(&pFrameRGB); freeFFmpeg(pCodecCtx); return -1; } if(!outBuffer) { sws_freeContext(img_convert_ctx); av_frame_free(&pFrame); av_frame_free(&pFrameRGB); freeFFmpeg(pCodecCtx); return -1; } if(pCodecCtx->width != width || pCodecCtx->height != height){ return 0; } // Assign appropriate parts of buffer to image planes in pFrameRGB av_image_fill_arrays(pFrameRGB->data, pFrameRGB->linesize, outBuffer, AV_PIX_FMT_RGB32, pCodecCtx->width, pCodecCtx->height, 1); sws_scale(img_convert_ctx, pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize); sws_freeContext(img_convert_ctx); av_frame_free(&pFrame); av_frame_free(&pFrameRGB); av_packet_free(&packet); avcodec_free_context(&pCodecCtx); return 0; }

參考

https://github.com/leandromoreira/ffmpeg-libav-tutorial
https://github.com/FFmpeg/FFmpeg/tree/master/doc/examples
https://kkc.github.io/2019/01/12/ffmpeg-libav-decode-note/
https://www.lmlphp.com/user/901/article/item/13844