多媒體處理必備—FFmpeg庫的強大功能，讓你的音視頻處理更高效

作者：小乖獸技術 2023-07-28 07:31:56

FFmpeg是一個功能強大的音視頻處理庫，它可以實現多種音視頻格式的編解碼、轉換和處理。雖然學習曲線較陡峭，但是其文檔和教程較為豐富，易于學習。在一定的場景下，使用FFmpeg可以大幅簡化音視頻處理的開發難度和工作量。

一、FFmpeg庫簡介

FFmpeg是一個免費開源的音視頻處理工具庫，可以實現音視頻格式轉換、編解碼、流媒體處理等功能。它由多個開源組件組成，包括libavcodec（音視頻編解碼器）、libavformat（封裝格式處理庫）、libavfilter（音視頻濾鏡庫）等等。因為其可移植性好、功能強大和代碼簡單易于維護等優勢，FFmpeg被廣泛應用于流媒體、多媒體播放器、視頻編輯軟件、視頻會議、直播等領域。

FFmpeg支持的視頻格式包括MPEG4、AVI、WMV、FLV、H.264等等，支持的音頻格式包括MP3、WMA、AAC、AMR等等。除此之外，FFmpeg還可以通過FFserver搭建流媒體服務器，支持RTSP、RTMP等傳輸協議。FFmpeg也提供了一些命令行工具，如ffmpeg、ffplay等，用于快速對音視頻文件進行轉換和播放。

FFmpeg的使用雖然相對復雜，但是相應的API文檔和豐富的社區支持，加上其強大的功能，使得它成為眾多開發者和視頻愛好者的首選工具之一。

二、FFmpeg庫使用場景

FFmpeg被廣泛應用于流媒體、多媒體播放器、視頻編輯軟件、視頻會議、直播等領域。它可以用來：

媒體播放器：使用FFmpeg庫可以實現多種音視頻格式的解碼、播放和控制，同時支持快進、暫停、截圖等操作。
視頻編輯軟件：通過FFmpeg庫提供的音視頻處理功能，可以實現視頻的剪輯、合并、調整畫面、添加字幕等操作，是開發視頻編輯軟件必備的組件之一。
流媒體服務：使用FFmpeg庫可以實現自定義錄制或直播系統，通過支持多種傳輸協議（如RTSP、RTMP等），可以將音視頻流推送到互聯網上進行實時的直播和傳播。
視頻轉換和處理：使用FFmpeg庫可以對音視頻文件進行格式轉換、提取音視頻流、添加水印等操作，適用于各種音視頻處理的場景。

三、FFmpeg庫的架構設計

FFmpeg庫采用模塊化設計，整體架構分為以下幾個模塊：

libavcodec：音視頻編解碼器模塊，提供音視頻格式的編解碼功能。包括H.264、HEVC、AAC、MP3等常見的音視頻格式。
libavformat：封裝格式處理模塊，用于讀取和寫入多種音視頻封裝格式，如AVI、MP4、FLV、MKV等。
libavfilter：音視頻濾鏡模塊，提供各種濾鏡和特效，可以用于圖像的處理、色彩調節、混合等操作。
libswscale：圖像色彩空間轉換模塊，主要用于視頻的縮放、轉換和處理等操作。
libavutil：通用工具函數庫，提供各種工具函數和數據結構，用于支撐其他模塊的功能實現。

在FFmpeg庫中，每個模塊都是相對獨立的，可以單獨使用也可以互相配合使用，使得各個模塊之間的調用和擴展更加容易。例如，我們可以通過libavcodec模塊進行音視頻的編解碼，再通過libavformat模塊進行封裝格式的處理，最終通過libswscale模塊進行視頻的縮放和轉換，并輸出到目標文件中。

四、FFmpeg庫的優點和缺點

優點：

開源免費，跨平臺支持Windows、Linux、Mac OS等操作系統。
功能強大，支持多種音視頻格式的編解碼、轉換和處理。
可定制性高，可以根據需求進行二次開發或定制。
社區活躍，有大量的文檔和教程，易于學習。

缺點：

學習曲線較陡峭，需要一定的編程經驗和基礎。
文檔和教程比較分散，需要耐心搜索和閱讀。
在特定場景下可能出現性能瓶頸，需要針對性的優化。

五、FFmpeg解碼流程

簡單來說，它的流程大致分為以下幾步：

讀取媒體文件，判斷是否支持該格式，并打開媒體文件。
獲取音視頻流，判斷是否為音頻流或視頻流，然后進行解碼操作。
判斷能否播放該幀數據，如果能，則進行播放操作；否則跳過該幀數據。
播放完畢后，釋放幀數據占用的資源并讀取下一幀數據，直到文件讀取完畢。
關閉媒體文件。

六、FFmpegAPI分類

FFmpeg API提供了大量的音視頻處理函數和接口，主要包括以下幾個方面：

AVFormat API：這個API主要用于處理多媒體格式，包括多媒體文件的封裝、解封裝、Mux和Demux等操作。例如，可以使用該API讀取音視頻文件，獲取里面的音視頻流等。
AVCodec API：這個API提供音視頻編解碼器的實現，支持眾多的音視頻格式的編解碼操作。例如，可以使用該API對MP4、FLV等格式進行音視頻解碼操作。
AVFilter API：這個API提供了音視頻濾鏡功能，包括各種濾鏡和特效，可以用于圖像的處理、色彩調節、混合等操作。例如，可以使用該API完成視頻的旋轉、縮放等濾鏡操作。
SwScaler API：這個API提供了圖像色彩空間轉換功能，主要用于視頻的縮放、轉換和處理等操作。例如，可以使用該API將RGB格式的圖像轉換為YUV420P格式。
AVutil API：這個API提供了各種工具函數和數據結構，支撐其他模塊的功能實現，例如內存管理、字符串處理、時間戳計算等操作。

七、使用WPF代碼案例介紹FFmpeg庫用法

以下是一個基于WPF的簡單案例，演示了如何使用FFmpeg庫來將一個視頻文件轉換為另一個格式的視頻文件：

using (var videoReader = new VideoFileReader())
{
    videoReader.Open(@"C:\Videos\input.mp4");

    using (var videoWriter = new VideoFileWriter())
    {
        var outputFilePath = @"C:\Videos\output.avi";
        var codec = "msmpeg4v3";

        videoWriter.Open(outputFilePath, videoReader.Width, videoReader.Height, videoReader.FrameRate, VideoCodec.FromFourCC(codec));
        var currentFrame = new VideoFrame(videoReader.Width, videoReader.Height);
        while (videoReader.ReadVideoFrame(currentFrame))
        {
            videoWriter.WriteVideoFrame(currentFrame);
        }
    }
}

以下是使用WPF編寫一個視頻解碼的案例代碼：

using System;
using System.Windows;
using System.Windows.Controls;
using System.Windows.Media.Imaging;
using System.Threading.Tasks;
using FFmpeg.AutoGen;

namespace VideoDecoderDemo
{
    public partial class MainWindow : Window
    {
        private AVFormatContext* pFormatCtx = null;
        private int videoStreamIndex = -1;
        private AVCodecContext* pCodecCtx = null;
        private AVCodec* pCodec = null;
        private AVFrame* pFrame = null;
        private AVPacket* pPacket = null;
        private AVPixelFormat sourcePixelFormat;
        private AVPixelFormat destinationPixelFormat;
        private IntPtr imgDataPtr = IntPtr.Zero;
        private int imgLineSize = 0;
        private Task decodingTask;
        private bool isDecoding = false;

        public MainWindow()
        {
            InitializeComponent();
        }

        private void OpenFileButton_Click(object sender, RoutedEventArgs e)
        {
            Microsoft.Win32.OpenFileDialog dlg = new Microsoft.Win32.OpenFileDialog();
            dlg.DefaultExt = ".mp4";
            dlg.Filter = "Video Files (*.mp4;*.avi;*.mkv)|*.mp4;*.avi;*.mkv|All Files (*.*)|*.*";
            Nullable<bool> result = dlg.ShowDialog();

            if (result == true)
            {
                string filename = dlg.FileName;
                OpenVideoFile(filename);
            }
        }

        private void PlayButton_Click(object sender, RoutedEventArgs e)
        {
            if (!isDecoding)
            {
                StartDecoding();
                PlayButton.Content = "停止播放";
            }
            else
            {
                StopDecoding();
                PlayButton.Content = "開始播放";
            }
        }

        private unsafe void OpenVideoFile(string filename)
        {
            // 初始化FFmpeg庫
            ffmpeg.av_register_all();
            // 打開視頻文件
            int ret = ffmpeg.avformat_open_input(&pFormatCtx, filename, null, null);
            if (ret < 0)
            {
                MessageBox.Show("打開視頻文件失敗：" + System.Runtime.InteropServices.Marshal.PtrToStringAnsi((IntPtr)ffmpeg.av_err2str(ret)));
                return;
            }
            // 獲取視頻流信息
            ret = ffmpeg.avformat_find_stream_info(pFormatCtx, null);
            if (ret < 0)
            {
                MessageBox.Show("獲取視頻流信息失敗：" + System.Runtime.InteropServices.Marshal.PtrToStringAnsi((IntPtr)ffmpeg.av_err2str(ret)));
                return;
            }
            // 查找視頻流索引
            for (int i = 0; i < pFormatCtx->nb_streams; i++)
            {
                if (pFormatCtx->streams[i]->codec->codec_type == AVMediaType.AVMEDIA_TYPE_VIDEO)
                {
                    videoStreamIndex = i;
                    break;
                }
            }
            if (videoStreamIndex == -1)
            {
                MessageBox.Show("沒有找到視頻流");
                return;
            }
            // 獲取視頻解碼器
            pCodecCtx = pFormatCtx->streams[videoStreamIndex]->codec;
            pCodec = ffmpeg.avcodec_find_decoder(pCodecCtx->codec_id);
            if (pCodec == null)
            {
                MessageBox.Show("找不到視頻解碼器");
                return;
            }
            // 打開視頻解碼器
            ret = ffmpeg.avcodec_open2(pCodecCtx, pCodec, null);
            if (ret < 0)
            {
                MessageBox.Show("打開視頻解碼器失敗：" + System.Runtime.InteropServices.Marshal.PtrToStringAnsi((IntPtr)ffmpeg.av_err2str(ret)));
                return;
            }
            // 分配解碼后數據的結構體
            pFrame = ffmpeg.av_frame_alloc();
            // 分配解碼前數據的結構體
            pPacket = ffmpeg.av_packet_alloc();
            if (pPacket == null)
            {
                MessageBox.Show("分配AVPacket結構體失敗");
                return;
            }
            // 獲取視頻像素格式
            sourcePixelFormat = pCodecCtx->pix_fmt;
            if (sourcePixelFormat == AVPixelFormat.AV_PIX_FMT_NONE)
            {
                MessageBox.Show("找不到視頻像素格式");
                return;
            }
            // 設置要轉換后的像素格式
            destinationPixelFormat = AVPixelFormat.AV_PIX_FMT_BGR24;
            // 計算轉換后每行圖像數據所占的字節數
            int bytesPerLine = ffmpeg.av_image_get_linesize(destinationPixelFormat, pCodecCtx->width, 0);
            // 分配轉換后的圖像數據空間
            imgDataPtr = (IntPtr)ffmpeg.av_malloc((ulong)bytesPerLine * pCodecCtx->height);
            // 創建Bitmap并顯示
            BitmapSource bitmapSource = BitmapSource.Create(pCodecCtx->width, pCodecCtx->height, 96, 96, System.Windows.Media.PixelFormats.Bgr24, null, imgDataPtr, bytesPerLine * pCodecCtx->height, bytesPerLine);
            VideoImage.Source = bitmapSource;
        }
        private void StartDecoding()
        {
            isDecoding = true;
            decodingTask = new Task(() =>
            {
                while (isDecoding && ffmpeg.av_read_frame(pFormatCtx, pPacket) >= 0)
                {
                    if (pPacket->stream_index == videoStreamIndex)
                    {
                        int ret = ffmpeg.avcodec_send_packet(pCodecCtx, pPacket);
                        if (ret < 0)
                        {
                            break;
                        }
                        while (ffmpeg.avcodec_receive_frame(pCodecCtx, pFrame) == 0)
                        {
                            // 創建SwScale上下文
                            SwsContext* swsctx = ffmpeg.sws_getContext(
                                pFrame->width,
                                pFrame->height,
                                sourcePixelFormat,
                                pFrame->width,
                                pFrame->height,
                                destinationPixelFormat,
                                ffmpeg.SWS_BICUBIC,
                                null,
                                null,
                                null);
                            // 執行像素格式轉換
                            ffmpeg.sws_scale(swsctx, pFrame->data, pFrame->linesize, 0, pFrame->height, &imgDataPtr, &imgLineSize);
                            // 釋放SwScale上下文
                            ffmpeg.sws_freeContext(swsctx);
                            Dispatcher.Invoke(() =>
                            {
                                // 創建Bitmap并顯示
                                BitmapSource bitmapSource = BitmapSource.Create(pCodecCtx->width, pCodecCtx->height, 96, 96, System.Windows.Media.PixelFormats.Bgr24, null, imgDataPtr, imgLineSize * pCodecCtx->height, imgLineSize);
                                VideoImage.Source = bitmapSource;
                            });
                        }
                    }
                    // 釋放AVPacket的緩沖區
                    ffmpeg.av_packet_unref(pPacket);
                }
                StopDecoding();
                // 釋放內存
                if (imgDataPtr != IntPtr.Zero)
                {
                    ffmpeg.av_free(imgDataPtr);
                    imgDataPtr = IntPtr.Zero;
                }
                if (pPacket != null)
                {
                    ffmpeg.av_packet_free(&pPacket);
                    pPacket = null;
                }
                if (pFrame != null)
                {
                    ffmpeg.av_frame_free(&pFrame);
                    pFrame = null;
                }
                if (pCodecCtx != null)
                {
                    ffmpeg.avcodec_close(pCodecCtx);
                    pCodecCtx = null;
                }
                if (pFormatCtx != null)
                {
                    ffmpeg.avformat_close_input(&pFormatCtx);
                    pFormatCtx = null;
                }
            });
            decodingTask.Start();
        }

        private void StopDecoding()
        {
            isDecoding = false;
            if (decodingTask != null && !decodingTask.IsCompleted)
            {
                decodingTask.Wait();
            }
        }
    }
}

該代碼流程圖

該代碼使用FFmpeg進行視頻解碼，并將解碼后的圖像顯示在WPF的Image控件上。其中，OpenFileButton_Click函數用于打開視頻文件；PlayButton_Click函數用于開始/停止播放視頻；StartDecoding函數和StopDecoding函數用于控制解碼的開始和結束。在OpenVideoFile函數中，我們需要先打開視頻文件，獲取視頻流信息，查找視頻流索引，獲取視頻解碼器，打開視頻解碼器，并分配解碼前后數據的內存空間。在StartDecoding函數中，我們使用了兩個FFmpeg函數：av_read_frame和avcodec_receive_frame來獲取解碼前和解碼后的數據。在這些函數調用中，我們執行了像素格式轉換，并將轉換后的圖像數據顯示在Image控件上。最后，在StopDecoding函數中，我們釋放所有使用的FFmpeg內存空間，并關閉解碼器和視頻文件。

六、總結FFmpeg庫

責任編輯：姜華來源：今日頭條

FFmpeg 開源