ong>?
PTS和DTS
幸運(yùn)的是,音頻和視頻流都有一些關(guān)于以多快速度和什么時(shí)間來播放它們的信息在里面。音頻流有采樣,視頻流有每秒的幀率。然而,如果我們只是簡(jiǎn)單的通過數(shù)幀和乘以幀率的方式來同步視頻,那么就很有可能會(huì)失去同步。于是作為一種補(bǔ)充,在流中的包有種叫做DTS(解碼時(shí)間戳)和PTS(顯示時(shí)間戳)的機(jī)制。為了這兩個(gè)參數(shù),你需要了解電影存放的方式。像MPEG等格式,使用被叫做B幀(B表示雙向bidrectional)的方式。另外兩種幀被叫做I幀和P幀(I表示關(guān)鍵幀,P表示預(yù)測(cè)幀)。I幀包含了某個(gè)特定的完整圖像。P幀依賴于前面的I幀和P幀并且使用比較或者差分的方式來編碼。B幀與P幀有點(diǎn)類似,但是它是依賴于前面和后面的幀的信息的。這也就解釋了為什么我們可能在調(diào)用avcodec_decode_video以后會(huì)得不到一幀圖像。
?
所以對(duì)于一個(gè)電影,幀是這樣來顯示的:I B B P。現(xiàn)在我們需要在顯示B幀之前知道P幀中的信息。因此,幀可能會(huì)按照這樣的方式來存儲(chǔ):IPBB。這就是為什么我們會(huì)有一個(gè)解碼時(shí)間戳和一個(gè)顯示時(shí)間戳的原因。解碼時(shí)間戳告訴我們什么時(shí)候需要解碼,顯示時(shí)間戳告訴我們什么時(shí)候需要顯示。所以,在這種情況下,我們的流可以是這樣的:
PTS: 1 4 2 3
DTS: 1 2 3 4
Stream: I P B B
通常PTS和DTS只有在流中有B幀的時(shí)候會(huì)不同。
?
當(dāng)我們調(diào)用av_read_frame()得到一個(gè)包的時(shí)候,PTS和DTS的信息也會(huì)保存在包中。但是我們真正想要的PTS是我們剛剛解碼出來的原始幀的PTS,這樣我們才能知道什么時(shí)候來顯示它。然而,我們從avcodec_decode_video()函數(shù)中得到的幀只是一個(gè)AVFrame,其中并沒有包含有用的PTS值(注意:AVFrame并沒有包含時(shí)間戳信息,但當(dāng)我們等到幀的時(shí)候并不是我們想要的樣子)。然而,ffmpeg重新排序包以便于被avcodec_decode_video()函數(shù)處理的包的DTS可以總是與其返回的PTS相同。但是,另外的一個(gè)警告是:我們也并不是總能得到這個(gè)信息。
?
不用擔(dān)心,因?yàn)橛辛硗庖环N辦法可以找到幀的PTS,我們可以讓程序自己來重新排序包。我們保存一幀的第一個(gè)包的PTS:這將作為整個(gè)這一幀的 PTS。我們可以通過函數(shù)avcodec_decode_video()來計(jì)算出哪個(gè)包是一幀的第一個(gè)包。怎樣實(shí)現(xiàn)呢?任何時(shí)候當(dāng)一個(gè)包開始一幀的時(shí)候,avcodec_decode_video()將調(diào)用一個(gè)函數(shù)來為一幀申請(qǐng)一個(gè)緩沖。當(dāng)然,ffmpeg允許我們重新定義那個(gè)分配內(nèi)存的函數(shù)。所以我們制作了一個(gè)新的函數(shù)來保存一個(gè)包的時(shí)間戳。
當(dāng)然,盡管那樣,我們可能還是得不到一個(gè)正確的時(shí)間戳。我們將在后面處理這個(gè)問題。
?
同步
現(xiàn)在,知道了什么時(shí)候來顯示一個(gè)視頻幀真好,但是我們?cè)鯓觼韺?shí)際操作呢?這里有個(gè)主意:當(dāng)我們顯示了一幀以后,我們計(jì)算出下一幀顯示的時(shí)間。然后我們簡(jiǎn)單的設(shè)置一個(gè)新的定時(shí)器來。你可能會(huì)想,我們檢查下一幀的PTS值而不是系統(tǒng)時(shí)鐘來看超時(shí)是否會(huì)到。這種方式可以工作,但是有兩種情況要處理。
首先,要知道下一個(gè)PTS是什么。現(xiàn)在我們能添加視頻速率到我們的PTS中--太對(duì)了!然而,有些電影需要幀重復(fù)。這意味著我們重復(fù)播放當(dāng)前的幀。這將導(dǎo)致程序顯示下一幀太快了。所以我們需要計(jì)算它們。
第二,正如程序現(xiàn)在這樣,視頻和音頻播放很歡快,一點(diǎn)也不受同步的影響。如果一切都工作得很好的話,我們不必?fù)?dān)心。但是,你的電腦并不是最好的,很多視頻文件也不是完好的。所以,我們有三種選擇:同步音頻到視頻,同步視頻到音頻,或者都同步到外部時(shí)鐘(例如你的電腦時(shí)鐘)。從現(xiàn)在開始,我們將同步視頻到音頻。
?
寫代碼:獲得幀的時(shí)間戳
現(xiàn)在讓我們到代碼中來做這些事情。我們將需要為我們的大結(jié)構(gòu)體添加一些成員,但是我們會(huì)根據(jù)需要來做。首先,讓我們看一下視頻線程。記住,在這里我們得到了解碼線程輸出到
隊(duì)列中的包。這里我們需要的是從avcodec_decode_video函數(shù)中得到幀的時(shí)間戳。我們討論的第一種方式是從上次處理的包中得到DTS,這是很容易的:
?
?
- double ?pts;??
- for (;;)?{??
- if (packet_queue_get(&is->videoq,?packet,?1)?<?0)?{??
- //?means?we?quit?getting?packets ??
- break ;??
- }??
- pts?=?0;??
- //?Decode?video?frame ??
- len1?=?avcodec_decode_video(is->video_st->codec,??
- pFrame,?&frameFinished,??
- packet->data,?packet->size);??
- if (packet->dts?!=?AV_NOPTS_VALUE)?{??
- pts?=?packet->dts;??
- }? else ?{??
- pts?=?0;??
- }??
- pts?*=?av_q2d(is->video_st->time_base);??
?
?
如果我們得不到PTS就把它設(shè)置為0。
好,那是很容易的。但是我們所說的如果包的DTS不能幫到我們,我們需要使用這一幀的第一個(gè)包的PTS。我們通過讓ffmpeg使用我們自己的申請(qǐng)幀程序來實(shí)現(xiàn)。下面的是函數(shù)的格式:
int get_buffer(struct AVCodecContext *c, AVFrame *pic);
void release_buffer(struct AVCodecContext *c, AVFrame *pic);
申請(qǐng)函數(shù)沒有告訴我們關(guān)于包的任何事情,所以我們要自己每次在得到一個(gè)包的時(shí)候把PTS保存到一個(gè)全局變量中去。我們自己以讀到它。然后,我們把值保存到AVFrame結(jié)構(gòu)體難理解的變量中去。所以一開始,這就是我們的函數(shù):
?
?
- uint64_t?global_video_pkt_pts?=?AV_NOPTS_VALUE;??
- int ?our_get_buffer( struct ?AVCodecContext?*c,?AVFrame?*pic)?{??
- int ?ret?=?avcodec_default_get_buffer(c,?pic);??
- uint64_t?*pts?=?av_malloc( sizeof (uint64_t));??
- *pts?=?global_video_pkt_pts;??
- pic->opaque?=?pts;??
- return ?ret;??
- }??
- void ?our_release_buffer( struct ?AVCodecContext?*c,?AVFrame?*pic)?{??
- if (pic)?av_freep(&pic->opaque);??
- avcodec_default_release_buffer(c,?pic);??
- }??
?
?
函數(shù)avcodec_default_get_buffer和avcodec_default_release_buffer是ffmpeg中默認(rèn)的申請(qǐng)緩沖的函數(shù)。函數(shù)av_freep是一個(gè)內(nèi)存管理函數(shù),它不但把內(nèi)存釋放而且把指針設(shè)置為NULL。
現(xiàn)在到了我們流打開的函數(shù)(stream_component_open),我們添加這幾行來告訴ffmpeg如何去做:
codecCtx->get_buffer = our_get_buffer;
codecCtx->release_buffer = our_release_buffer;
現(xiàn)在我們必需添加代碼來保存PTS到全局變量中,然后在需要的時(shí)候來使用它。我們的代碼現(xiàn)在看起來應(yīng)該是這樣子:
?
?
- for (;;)?{??
- if (packet_queue_get(&is->videoq,?packet,?1)?<?0)?{??
- //?means?we?quit?getting?packets ??
- break ;??
- }??
- pts?=?0;??
- //?Save?global?pts?to?be?stored?in?pFrame?in?first?call ??
- global_video_pkt_pts?=?packet->pts;??
- //?Decode?video?frame ??
- len1?=?avcodec_decode_video(is->video_st->codec,?pFrame,?&frameFinished,??
- packet->data,?packet->size);??
- if (packet->dts?==?AV_NOPTS_VALUE??
- &&?pFrame->opaque?&&?*(uint64_t*)pFrame->opaque?!=?AV_NOPTS_VALUE)?{??
- pts?=?*(uint64_t?*)pFrame->opaque;??
- }? else ? if (packet->dts?!=?AV_NOPTS_VALUE)?{??
- pts?=?packet->dts;??
- }? else ?{??
- pts?=?0;??
- }??
- pts?*=?av_q2d(is->video_st->time_base);??
?
?
技術(shù)提示:你可能已經(jīng)注意到我們使用int64來表示PTS。這是因?yàn)镻TS是以整型來保存的。這個(gè)值是一個(gè)時(shí)間戳相當(dāng)于時(shí)間的度量,用來以流的 time_base為單位進(jìn)行時(shí)間度量。例如,如果一個(gè)流是24幀每秒,值為42的PTS表示這一幀應(yīng)該排在第42個(gè)幀的位置如果我們每秒有24幀(這里并不完全正確)。
我們可以通過除以幀率來把這個(gè)值轉(zhuǎn)化為秒。流中的time_base值表示1/framerate(對(duì)于固定幀率來說),所以得到了以秒為單位的PTS,我們需要乘以time_base。
寫代碼:使用PTS來同步
現(xiàn)在我們得到了PTS。我們要注意前面討論到的兩個(gè)同步問題。我們將定義一個(gè)函數(shù)叫做synchronize_video,它可以更新同步的 PTS。這個(gè)函數(shù)也能最終處理我們得不到PTS的情況。同時(shí)我們要知道下一幀的時(shí)間以便于正確設(shè)置刷新速率。我們可以使用內(nèi)部的反映當(dāng)前視頻已經(jīng)播放時(shí)間的時(shí)鐘 video_clock來完成這個(gè)功能。我們把這些值添加到大結(jié)構(gòu)體中。
typedef struct VideoState {
double video_clock; ///
下面的是函數(shù)synchronize_video,它可以很好的自我注釋:
?
?
- double ?synchronize_video(VideoState?*is,?AVFrame?*src_frame,? double ?pts)?{??
- double ?frame_delay;??
- if (pts?!=?0)?{??
- is->video_clock?=?pts;??
- }? else ?{??
- pts?=?is->video_clock;??
- }??
- frame_delay?=?av_q2d(is->video_st->codec->time_base);??
- frame_delay?+=?src_frame->repeat_pict?*?(frame_delay?*?0.5);??
- is->video_clock?+=?frame_delay;??
- return ?pts;??
- }??
?
?
你也會(huì)注意到我們也計(jì)算了重復(fù)的幀。
現(xiàn)在讓我們得到正確的PTS并且使用queue_picture來隊(duì)列化幀,添加一個(gè)新的時(shí)間戳參數(shù)
?
?
- pts:??
- //?Did?we?get?a?video?frame? ??
- if (frameFinished)?{??
- pts?=?synchronize_video(is,?pFrame,?pts);??
- if (queue_picture(is,?pFrame,?pts)?<?0)?{??
- break ;??
- }??
- }??
?
?
對(duì)于queue_picture來說唯一改變的事情就是我們把時(shí)間戳值pts保存到VideoPicture結(jié)構(gòu)體中,我們必需添加一個(gè)時(shí)間戳變量到結(jié)構(gòu)體中并且添加一行代碼:
?
?
- typedef ? struct ?VideoPicture?{??
- ...??
- double ?pts;??
- }??
- int ?queue_picture(VideoState?*is,?AVFrame?*pFrame,? double ?pts)?{??
- ...?stuff?...??
- if (vp->bmp)?{??
- ...?convert?picture?...??
- vp->pts?=?pts;??
- ...?alert?queue?...??
- }??
?
?
現(xiàn)在我們的圖像隊(duì)列中的所有圖像都有了正確的時(shí)間戳值,所以讓我們看一下視頻刷新函數(shù)。你會(huì)記得上次我們用80ms的刷新時(shí)間來欺騙它。那么,現(xiàn)在我們將會(huì)算出實(shí)際的值。
我們的策略是通過簡(jiǎn)單計(jì)算前一幀和現(xiàn)在這一幀的時(shí)間戳來預(yù)測(cè)出下一個(gè)時(shí)間戳的時(shí)間。同時(shí),我們需要同步視頻到音頻。我們將設(shè)置一個(gè)音頻時(shí)間 audio clock;一個(gè)內(nèi)部值記錄了我們正在播放的音頻的位置。就像從任意的mp3播放器中讀出來的數(shù)字一樣。既然我們把視頻同步到音頻,視頻線程使用這個(gè)值來算出是否太快還是太慢。
?
我們將在后面來實(shí)現(xiàn)這些代碼;現(xiàn)在我們假設(shè)我們已經(jīng)有一個(gè)可以給我們音頻時(shí)間的函數(shù)get_audio_clock。一旦我們有了這個(gè)值,我們?cè)谝纛l和視頻失去同步的時(shí)候應(yīng)該做些什么呢?簡(jiǎn)單而有點(diǎn)笨的辦法是試著用跳過正確幀或者其它的方式來解決。作為一種替代的手段,我們會(huì)調(diào)整下次刷新的值;如果時(shí)間戳太落后于音頻時(shí)間,我們加倍計(jì)算延遲。如果時(shí)間戳太領(lǐng)先于音頻時(shí)間,我們將盡可能快的刷新。既然我們有了調(diào)整過的時(shí)間和延遲,我們將把它和我們通過 frame_timer計(jì)算出來的時(shí)間進(jìn)行比較。這個(gè)幀時(shí)間frame_timer將會(huì)統(tǒng)計(jì)出電影播放中所有的延時(shí)。換句話說,這個(gè) frame_timer就是指我們什么時(shí)候來顯示下一幀。我們簡(jiǎn)單的添加新的幀定時(shí)器延時(shí),把它和電腦的系統(tǒng)時(shí)間進(jìn)行比較,然后使用那個(gè)值來調(diào)度下一次刷新。這可能有點(diǎn)難以理解,所以請(qǐng)認(rèn)真研究代碼:
?
?
- void ?video_refresh_timer( void ?*userdata)?{??
- VideoState?*is?=?(VideoState?*)userdata;??
- VideoPicture?*vp;??
- double ?actual_delay,?delay,?sync_threshold,?ref_clock,?diff;??
- if (is->video_st)?{??
- if (is->pictq_size?==?0)?{??
- schedule_refresh(is,?1);??
- }? else ?{??
- vp?=?&is->pictq[is->pictq_rindex];??
- delay?=?vp->pts?-?is->frame_last_pts;??
- if (delay?<=?0?||?delay?>=?1.0)?{??
- delay?=?is->frame_last_delay;??
- }??
- is->frame_last_delay?=?delay;??
- is->frame_last_pts?=?vp->pts;??
- ref_clock?=?get_audio_clock(is);??
- diff?=?vp->pts?-?ref_clock;??
- sync_threshold?=?(delay?>?AV_SYNC_THRESHOLD)???delay?:?AV_SYNC_THRESHOLD;??
- if (fabs(diff)?<?AV_NOSYNC_THRESHOLD)?{??
- if (diff?<=?-sync_threshold)?{??
- delay?=?0;??
- }? else ? if (diff?>=?sync_threshold)?{??
- delay?=?2?*?delay;??
- }??
- }??
- is->frame_timer?+=?delay;??
- actual_delay?=?is->frame_timer?-?(av_gettime()?/?1000000.0);??
- if (actual_delay?<?0.010)?{??
- actual_delay?=?0.010;??
- }??
- schedule_refresh(is,?( int )(actual_delay?*?1000?+?0.5));??
- video_display(is);??
- if (++is->pictq_rindex?==?VIDEO_PICTURE_QUEUE_SIZE)?{??
- is->pictq_rindex?=?0;??
- }??
- SDL_LockMutex(is->pictq_mutex);??
- is->pictq_size--;??
- SDL_CondSignal(is->pictq_cond);??
- SDL_UnlockMutex(is->pictq_mutex);??
- }??
- }? else ?{??
- schedule_refresh(is,?100);??
- }??
- }??
?
?
我們?cè)谶@里做了很多檢查:首先,我們保證現(xiàn)在的時(shí)間戳和上一個(gè)時(shí)間戳之間的處以delay是有意義的。如果不是的話,我們就猜測(cè)著用上次的延遲。接著,我們有一個(gè)同步閾值,因?yàn)樵谕降臅r(shí)候事情并不總是那么完美的。在ffplay中使用0.01作為它的值。我們也保證閾值不會(huì)比時(shí)間戳之間的間隔短。最后,我們把最小的刷新值設(shè)置為10毫秒。
(這句不知道應(yīng)該放在哪里)事實(shí)上這里我們應(yīng)該跳過這一幀,但是我們不想為此而煩惱。
我們給大結(jié)構(gòu)體添加了很多的變量,所以不要忘記檢查一下代碼。同時(shí)也不要忘記在函數(shù)streame_component_open中初始化幀時(shí)間frame_timer和前面的幀延遲frame delay:
is->frame_timer = (double)av_gettime() / 1000000.0;
is->frame_last_delay = 40e-3;
?
同步:聲音時(shí)鐘
現(xiàn)在讓我們看一下怎樣來得到聲音時(shí)鐘。我們可以在聲音解碼函數(shù)audio_decode_frame中更新時(shí)鐘時(shí)間。現(xiàn)在,請(qǐng)記住我們并不是每次調(diào)用這個(gè)函數(shù)的時(shí)候都在處理新的包,所以有我們要在兩個(gè)地方更新時(shí)鐘。第一個(gè)地方是我們得到新的包的時(shí)候:我們簡(jiǎn)單的設(shè)置聲音時(shí)鐘為這個(gè)包的時(shí)間戳。然后,如果一個(gè)包里有許多幀,我們通過樣本數(shù)和采樣率來計(jì)算,所以當(dāng)我們得到包的時(shí)候:
if(pkt->pts != AV_NOPTS_VALUE) {
is->audio_clock = av_q2d(is->audio_st->time_base)*pkt->pts;
}
然后當(dāng)我們處理這個(gè)包的時(shí)候:
?
?
- pts?=?is->audio_clock;???
- *pts_ptr?=?pts;???
- n?=?2?*?is->audio_st->codec->channels;???
- is->audio_clock?+=?( double )data_size?/???
- ( double )(n?*?is->audio_st->codec->sample_rate);???
?
?
一點(diǎn)細(xì)節(jié):臨時(shí)函數(shù)被改成包含pts_ptr,所以要保證你已經(jīng)改了那些。這時(shí)的pts_ptr是一個(gè)用來通知audio_callback函數(shù)當(dāng)前聲音包的時(shí)間戳的指針。這將在下次用來同步聲音和視頻。
現(xiàn)在我們可以最后來實(shí)現(xiàn)我們的get_audio_clock函數(shù)。它并不像得到is->audio_clock值那樣簡(jiǎn)單。注意我們會(huì)在每次處理它的時(shí)候設(shè)置聲音時(shí)間戳,但是如果你看了audio_callback函數(shù),它花費(fèi)了時(shí)間來把數(shù)據(jù)從聲音包中移到我們的輸出緩沖區(qū)中。這意味著我們聲音時(shí)鐘中記錄的時(shí)間比實(shí)際的要早太多。所以我們必須要檢查一下我們還有多少?zèng)]有寫入。下面是完整的代碼:
?
?
- double ?get_audio_clock(VideoState?*is)?{???
- double ?pts;???
- int ?hw_buf_size,?bytes_per_sec,?n;???
- pts?=?is->audio_clock;???
- hw_buf_size?=?is->audio_buf_size?-?is->audio_buf_index;???
- bytes_per_sec?=?0;???
- n?=?is->audio_st->codec->channels?*?2;???
- if (is->audio_st)?{???
- bytes_per_sec?=?is->audio_st->codec->sample_rate?*?n;???
- }???
- if (bytes_per_sec)?{???
- pts?-=?( double )hw_buf_size?/?bytes_per_sec;???
- }???
- return ?pts;???
- }???
?
?
你應(yīng)該知道為什么這個(gè)函數(shù)可以正常工作了;)
這就是了!讓我們編譯它:
gcc -o tutorial05 tutorial05.c -lavutil -lavformat -lavcodec -lz -lm`sdl-config --cflags --libs`
最后,你可以使用我們自己的電影播放器來看電影了。下次我們將看一下聲音同步,然后接下來的指導(dǎo)我們會(huì)討論查詢。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號(hào)聯(lián)系: 360901061
您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
