程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 編程語言 >> .NET網頁編程 >> .NET實例教程 >> 用FFMPEG SDK進行視頻轉碼壓縮時解決音視頻不同步問題的方法

用FFMPEG SDK進行視頻轉碼壓縮時解決音視頻不同步問題的方法

編輯:.NET實例教程

用FFMPEG SDK進行視頻轉碼壓縮的時候,轉碼成功後去看視頻的內容,發現音視頻是不同步的。這個的確是一個惱火的事情。我在用FFMPEG SDK做h264格式的FLV文件編碼Filter的時候就碰到了這個問題。

        經過研究發現,FFMPEG SDK寫入視頻的時候有兩個地方用來控制寫入的時間戳,一個是AvPacket, 一個是AvFrame。 在調用avcodec_encode_video的時候需要傳入AvFrame的對象指針,也就是傳入一幀未壓縮的視頻進行壓縮處理,AvFrame包含一個pts的參數,這個參數就是當前幀將來在還原播放的時候的時間戳。而AvPacket裡面也有pts,還有dts。說起這個就必須要說明一下I,P,B三種視頻壓縮幀。I幀就是關鍵幀,不依賴於其他視頻幀,P幀是向前預測的幀,只依賴於前面的視頻幀,而B幀是雙向預測視頻幀,依賴於前後視頻幀。由於B幀的存在,因為它是雙向的,必須知道前面的視頻幀和後面的視頻幀的詳細內容後,才能知道本B幀最終該呈現什麼圖像。而pts和dts兩個參數就是用來控制視頻幀的顯示和解碼的順序。

      pts就是幀顯示的順序。

      dts就是幀被讀取進行解碼的順序。

     如果沒有B幀存在,dts和pts是相同的。反之,則是不相同的。關於這個的詳細介紹可以參考一下mpeg的原理。

 

再說說AvPacket中包含的pts和dts兩個到底該設置什麼值?

pts和dts需要設置的就是視頻幀解碼和顯示的順序。每增加一幀就加一,並不是播放視頻的時間戳。

但是實踐證明經過rmvb解碼的視頻有時候並不是固定幀率的,而是變幀率的,這樣,如果每壓縮一幀,pts和dts加一的方案為導致音視頻不同步。

那怎麼來解決音視頻同步的問題呢?

請看如下代碼段。

lTimeStamp 是通過directshow 獲取的當前的視頻幀的時間戳。

m_llframe_index為當前已經經過壓縮處理的幀的數量。

首先av_rescale計算得到當前壓縮處理已經需要處理什麼時間戳的視頻幀,如果該時間戳尚未到達directshow當前提供的視頻幀的時間戳,則將該幀丟棄掉。

否則進行壓縮操作。並設置AVPacket的pts和dts。這裡假設B幀不存在。

因為在將來播放的時候視頻以我們設定的固定播放幀率進行播放,所以需要根據設定的播放幀率計算得到的視頻幀時間戳和directshow提供的當前視頻幀的時間戳進行比較,設定是否需要進行實施延緩播放的策略。如果需要延緩播放,則將pts增加步長2,否則以普通速度播放,則設置為1.dts與之相同。

 

 __int64 x = av_rescale(m_llframe_index,AV_TIME_BASE*(int64_t)c->time_base.num,c->time_base.den);

 if( x > lTimeStamp )
 {
  return TRUE;
 }
 m_pVideoFrame2->pts = lTimeStamp;
 m_pVideoFrame2->pict_type = 0;

    int out_size = avcodec_encode_video( c, m_pvideo_outbuf, video_outbuf_size, m_pVideoFrame2 );
    /* if zero size, it means the image was buffered */
    if (out_size > 0)
    {
        AVPacket pkt;
        av_init_packet(&pkt);
  
  if( x > lTimeStamp )
  {
   pkt.pts = pkt.dts = m_llframe_index;
   pkt.duration = 0;
  }
  else
  {
   pkt.duration = (

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved