數(shù)字電視的視頻壓縮技術

本文作者王軍先生，電子科技大學通信與信息工程學院通信抗干擾技術重點實驗室助教、碩士；吳軍蹄女士，通信與信息工程學院教授。3 視頻壓縮標準視頻編碼標準主要由ITU-T和ISO/IEC開發(fā)。前者已經(jīng)發(fā)布了視頻會議標準H.261、 H.262、 H.263，并且準備進行遠期編碼標準H.263L的開發(fā)，以期望獲得更大的編碼效率。ISO/IEC的標準系列是大家熟悉的MPEG家族。包括:1MPEG-11988～1992，可以提供最高達1.5Mbps的數(shù)字視頻，只支持逐行掃描；2MPEG-21990～1994，支持的帶寬范圍從2Mbps到超過20Mbps，MPEG-2后向兼容MPEG-1，但增加了對隔行掃描的支持，并有更大的伸縮性和靈活性；3MPEG-41994～1998，支持逐行掃描和隔行掃描，是基于視頻對象的編碼標準，通過對象識別提供了空間的可伸縮性；4MPEG-71996～2000，是多媒體內(nèi)容描述接口，與前述標準集中在音頻/視頻內(nèi)容的編碼和表示不同，它集中在對多媒體內(nèi)容的描述。除了上述通用標準外，還存在很多專用格式，比較流行的有:C-Cube的M-JPEG、Intel的IVItmIndeo Video Interactive、Apple的QuickTimetm、Microsoft的 Media Playertm和RealNetworks的RealPlayertm。二 數(shù)字視頻傳輸根據(jù)承載網(wǎng)絡的變化和視頻服務的區(qū)別，可以將數(shù)字視頻的傳輸分為四類:數(shù)字電視、寬帶視頻通信、Internet視頻流通信、蜂窩移動視頻通信。雖然這四種通信體系下對視頻通信的協(xié)議和服務有不同的要求，但對于實時應用下述幾點是必須滿足的:1傳輸必須限制在一定時限內(nèi)完成；2必須對端到端的抖動建議限制；3必須有相應的同步機制；4在分組網(wǎng)絡中應當有較高的優(yōu)先級。1 數(shù)字電視廣播歐洲走在了全球DVB開發(fā)最前面，將其采納為數(shù)字電視DTV的標準；在美國，ATSC采用了HDTV；在亞太地區(qū)，日本采用了基于DVB和ATSC的ISDB-T，澳大利亞采用了DVB，韓國則采用了ATSC標準，我國也在制定數(shù)字電視的標準，并進行了現(xiàn)場試驗。下面我們以歐洲的DTV標準為主分別介紹DTV系統(tǒng)規(guī)范和傳輸技術。a.DTV系統(tǒng)規(guī)范根據(jù)傳輸系統(tǒng)的不同，DTV系統(tǒng)分為三類:陸基系統(tǒng) DTV-T、衛(wèi)星系統(tǒng) DTV-S、有線系統(tǒng) DTV-C。這三類DTV系統(tǒng)雖然各有不同，但也有公共的特性，MPEG-2視頻和音頻編碼系統(tǒng)是所有DTV系統(tǒng)的基礎。系統(tǒng)采用MPEG-2將數(shù)據(jù)壓縮并組裝成分組，稱為凈荷。對凈荷采用Reed-Solomon前向糾錯編碼，降低信號傳輸中引入的誤碼。衛(wèi)星系統(tǒng)采用單載波信號，采用外部編碼的同時，內(nèi)部加入了打孔卷積編碼，從而又增加了一層誤碼糾錯能力，根據(jù)帶寬的變化和采用的特定設備，編碼數(shù)據(jù)是可調(diào)整的，信號采用QPSK方式調(diào)制。陸基系統(tǒng)聯(lián)合使用碼正交頻分復用 COFDM或者QPSK或QAM進行射頻調(diào)制，采用了和衛(wèi)星系統(tǒng)相似的打孔卷積編碼。有線系統(tǒng)采用了QAM調(diào)制方案，不需要附加的內(nèi)部編碼來降低誤碼，系統(tǒng)優(yōu)化采用64-QAM。b. DTV系統(tǒng)傳輸結構DTV系統(tǒng)廣播和接收的基本結構由三個子系統(tǒng)構成:1信源編碼和壓縮子系統(tǒng)，通過ADC接受模擬視頻和音頻信號并將其轉換成數(shù)字比特流，然后通過MPEG-2進行壓縮，并加入控制和輔助數(shù)據(jù)；2服務復用和傳遞子系統(tǒng)，復用將視頻和音頻及輔助數(shù)據(jù)流聯(lián)合構成長188字節(jié)的分組，并加上標記，分組構成單個數(shù)據(jù)流，采用MPEG-2傳遞系統(tǒng)語法控制這些復用任務；3傳輸子系統(tǒng)，包括對復用數(shù)據(jù)流的信道編碼和調(diào)制。2 寬帶視頻通信這里討論的寬帶視頻通信主要是指基于寬帶核心網(wǎng)絡和寬帶接入技術的MPEG-2視頻通信。為了滿足實時視頻通信對帶寬的需求，核心網(wǎng)絡通常采用寬帶光纖網(wǎng)絡，可以是ATM或者基于MPLS的寬帶IP與ATM的結合，最后一公里的寬帶接入的方法有光纖到戶、光纖到樓雙絞線到戶及ADSL，最近也提出了寬帶無線接入技術。通常，來自多個鏈路的數(shù)據(jù)業(yè)務在數(shù)字用戶線路接入復用器DSLAM匯總。DSLAM將ATM業(yè)務路由到家中的ADSL接收器單元，同時，濾掉低頻段的舊電話業(yè)務POTS 。在MPEG-2視頻的情形下，ATM邊界設備減輕信元的時延抖動的能力至關重要。ATM必須應付數(shù)據(jù)傳輸?shù)男枰⑻峁┕芾砻總€視頻流的功能，特別要滿足按序提取視頻分組的要求。為了補償網(wǎng)絡傳輸延時，ATM網(wǎng)絡邊界設備必須精心設計以處理MPEG交換和抖動管理。本地MPEG-2視頻流通過數(shù)字視頻廣播異步串行接口傳輸。ATM邊界設備將MPEG-2多節(jié)目傳輸流MPTS或單節(jié)目傳輸流SPTS拆解到節(jié)目層并最終到分組標記PID層。在PID層，不同的節(jié)目流可以重新排序并復用進另外的MPTS。在ATM邊界接收端，另外的邊界設備管理ATM信元流，并重構SPTS或MPTS。本地的服務分布網(wǎng)絡負責在本地的UTP網(wǎng)絡分發(fā)視頻內(nèi)容。功能強大的MPEG-2壓縮算法結合智能的ATM邊界設備允許最后接入利用DSL技術作為視頻分發(fā)的接入機制。未完待續(xù)相關信息:1.前言數(shù)字視頻產(chǎn)品需求近些年出現(xiàn)猛增。主流應用包括視頻通信、安全監(jiān)控與工業(yè)自動化，而最熱門的要算娛樂應用，如 DVD、HDTV、衛(wèi)星電視、高清 HD 機頂盒、因特網(wǎng)視頻流、數(shù)碼相機與 HD 攝像機、視頻光盤庫 video jukebox、高端顯示器LCD、等離子顯示器、DLP以及個人攝像機等。眾多精彩的新應用目前也處于設計或前期部署中，例如針對家庭與手持設備及地面／衛(wèi)星標準DVB-T、DVB-H、DMB的高清 DVD藍光／HD-DVD和數(shù)字視頻廣播、高清視頻電話、數(shù)碼相機以及 IP 機頂盒。由于手持終端計算能力的提高以及電池技術與高速無線連接的發(fā)展，最終產(chǎn)品的移動性與集成性也在不斷提高。視頻壓縮是所有令人振奮的、新型視頻產(chǎn)品的重要動力。壓縮－解壓編解碼算法可以實現(xiàn)數(shù)字視頻的存儲與傳輸。典型的編解碼器要么采用行業(yè)標準，如 MPEG2、MPEG4、H.264/AVC 與 AVS，要么采用專有算法，如 On2、Real Video、Nancy與Windows Media Video WMV 等。WMV 是個例外——它最初是微軟公司的專有算法，而現(xiàn)在則以 VC-1 的新名稱在業(yè)界實現(xiàn)了標準化。編解碼技術在過去十年中不斷改進。最新的編解碼技術H.264/AVC 與 VC-1代表著第三代視頻壓縮技術。這兩種編解碼技術利用如可編程 DSP 與ASIC 等低成本 IC 的處理能力，都能夠達到極高的壓縮比。不過，為具體應用選擇正確的編解碼器并優(yōu)化其實時處理仍然是一項巨大的挑戰(zhàn)。最佳的設計必須權衡壓縮效率及可用的計算能力。此外，如何在計算能力有限的情況下獲得最佳壓縮效率也是一門大學問。在本文中，我們首先概述視頻編碼的主要概念，同時介紹傳統(tǒng)壓縮標準。然后我們重點介紹其中包括 H.264/AVC、WMV9/VC-1與AVS 等在內(nèi)的最新編解碼技術的功能，此外，還將深入探討壓縮能力與復雜性之間的權衡。最后，討論市場中可能會影響主流視頻編解碼器未來的實時處理與主要趨勢。數(shù)字視頻的主要挑戰(zhàn)在于原始或未壓縮的視頻需要存儲或傳輸大量數(shù)據(jù)。例如，標準清晰度的 NTSC 視頻的數(shù)字化一般是每秒 30 幀速率，采用 4:2:2 YcrCb 及 720480，其要求超過 165Mbps 的數(shù)據(jù)速率。保存 90 分鐘的視頻需要 110GB 空間，或者說超過標準 DVD-R 存儲容量的 25 倍。即使是視頻流應用中常用的低分辨率視頻如:CIF:352x288 4:2:0、30 幀/秒也需要超過 36.5Mbps 的數(shù)據(jù)速率，這是 ADSL 或 3G 無線等寬帶網(wǎng)絡速度的許多倍。目前的寬帶網(wǎng)可提供 1～10Mbps 的持續(xù)傳輸能力。顯然數(shù)字視頻的存儲或傳輸需要采用壓縮技術。視頻壓縮的目的是對數(shù)字視頻進行編碼——在保持視頻質(zhì)量的同時占用盡可能少的空間。編解碼技術理論依據(jù)為信息理論的數(shù)學原理。不過，開發(fā)實用的編解碼技術需要藝術性的精心考慮。3. 壓縮權衡在選擇數(shù)字視頻系統(tǒng)的編解碼技術時需要考慮諸多因素。主要因素包括應用的視頻質(zhì)量要求、傳輸通道或存儲介質(zhì)所處的環(huán)境速度、時延、錯誤特征以及源內(nèi)容的格式。同樣重要的還有預期分辨率、目標比特率、色彩深度、每秒幀數(shù)以及內(nèi)容和顯示是逐行掃描還是隔行掃描。壓縮通常需要在應用的視頻質(zhì)量要求與其他需求之間做出取舍。首先，用途是存儲還是單播、多播、雙向通信或廣播？對于存儲應用，到底有多少可用的存儲容量以及存儲時間需要多久？對于存儲之外的應用，最高比特率是多少？對于雙向視頻通信，時延容差或容許的端到端系統(tǒng)延遲是多少？如果不是雙向通信，內(nèi)容需要在脫機狀態(tài)提前完成編碼還是需要實時編碼？網(wǎng)絡或存儲介質(zhì)的容錯能力如何？根據(jù)基本目標應用，不同壓縮標準以不同方式處理這些問題的權衡。另一方面是需要權衡編解碼實時處理的成本。如 H.264/AVC 或 WMV9/VC-1等能夠實現(xiàn)較高壓縮比的新算法需要更高的處理能力，這會影響編解碼器件的成本、系統(tǒng)功耗以及系統(tǒng)內(nèi)存。4. 標準化機構在視頻編解碼技術定義方面有兩大標準機構。國際電信聯(lián)盟 ITU 致力于電信應用，已經(jīng)開發(fā)了用于低比特率視頻電話的 H.26x 標準，其中包括 H.261、H.262、H.263 與 H.264；國際標準化組織 ISO 主要針對消費類應用，已經(jīng)針對運動圖像壓縮定義了 MPEG 標準。MPEG 標準包括 MPEG1、MPEG2 與 MPEG4。圖 1 說明了視頻編解碼標準的發(fā)展歷程。MPEG 與 ISO 根據(jù)基本目標應用往往做出稍有不同的取舍。有時它們也會開展合作，如:聯(lián)合視頻小組 JVT，該小組定義了 H.264 編解碼技術，這種技術在 MPEG 系列中又被稱為 MPEG4-Part 10 或 MPEG4 高級視頻編解碼 AVC。我們在本文中將這種聯(lián)合標準稱為 H.264/AVC。同樣，H.262 對應 MPEG2，而 H.263 基本規(guī)范類 Baseline Profile 技術在原理方面與 MPEG4 簡單類 Simple Profile 編解碼技術存在較多重復。標準對編解碼技術的普及至關重要。出于規(guī)模經(jīng)濟原因，用戶根據(jù)可承受的標準尋找相應產(chǎn)品。由于能夠保障廠商之間的互操作性，業(yè)界樂意在標準方面進行投資。而由于自己的內(nèi)容可以獲得較長的生命周期及廣泛的需求，內(nèi)容提供商也對標準青睞有加。盡管幾乎所有視頻標準都是針對少數(shù)特定應用的，但是在能夠適用的情況下，它們在其他應用中也能發(fā)揮優(yōu)勢。圖1:ITU 與 MPEG 標準的發(fā)展歷程 [10]為了實現(xiàn)更好的壓縮及獲得新的市場機遇，ITU 與 MPEG 一直在不斷發(fā)展壓縮技術和開發(fā)新標準。中國最近開發(fā)了一種稱為 AVS 的國家視頻編碼標準，我們在后面也會做一介紹。目前正在開發(fā)的標準包括 ITU/MPEG 聯(lián)合可擴展視頻編碼 Joint Scalable Video Coding對 H264/ AVC 的修訂和MPEG 多視角視頻編碼 Multi-view Video Coding。另外，為了滿足新的應用需求，現(xiàn)有標準也在不斷發(fā)展。例如，H.264 最近定義了一種稱為高精度拓展 Fidelity Range Extensions 的新模式，以滿足新的市場需求，如專業(yè)數(shù)字編輯、HD-DVD 與無損編碼等。除了 ITU 與 ISO 開發(fā)的行業(yè)標準以外，還出現(xiàn)了幾種專用于因特網(wǎng)流媒體應用、廣受歡迎的專有解決方案，其中包括 Real Networks Real Video RV10、Microsoft Windows Media Video 9 WMV9 系列、ON2 VP6 以及 Nancy。由于這些格式在內(nèi)容中得到了廣泛應用，因此專有編解碼技術可以成為業(yè)界標準。2003 年 9 月，微軟公司向電影與電視工程師學會 SMPTE 提議在該機構的支持下實現(xiàn) WMV9 位流與語法的標準化。該提議得到了采納，現(xiàn)在 WMV9 已經(jīng)被 SMPTE 作為 VC-1 實現(xiàn)標準化。5. 視頻編碼原理我們感興趣的所有視頻標準都采用基于模塊的處理方式。每個宏模塊一般包含 4 個 88 的光度塊和 2 個 88 的色度塊4:2:0 色度格式。視頻編碼基于運動補償預測MC，變換與量化及熵編碼。圖 2 說明的是一種典型的、基于運動補償?shù)囊曨l編解碼技術。在運動補償中，通過預測與最新編碼的"參考"視頻幀處于同一區(qū)域的視頻幀中各宏模塊的像素來實現(xiàn)壓縮。例如，背景區(qū)域通常在各幀之間保持不變，因此不需要在每個幀中重新傳輸。運動估計 ME 是確定當前幀——即與它最相似的參考幀的 1616 區(qū)域中每個 MB 的過程。ME 通常是視頻壓縮中最消耗性能的功能。有關當前幀中各模塊最相似區(qū)域相對位置的信息"運動矢量"被發(fā)送至解碼器。MC 之后的殘差部分分為 88 的模塊，各模塊綜合利用變換編碼、量化編碼與可變長度編碼技術進行編碼。變換編碼如:離散余弦變換或 DCT利用殘差信號中的空間冗余。量化編碼可以消除感知冗余 perceptual redundancy 并且降低編碼殘差信號所需要的數(shù)據(jù)量?？勺冮L度編碼利用殘差系數(shù)的統(tǒng)計性質(zhì)。通過 MC 進行的冗余消除過程在解碼器中以相反過程進行，來自參考幀的預測數(shù)據(jù)與編碼后的殘差數(shù)據(jù)結合在一起產(chǎn)生對原始視頻幀的再現(xiàn) 。圖 2:標準運動補償視頻編碼在視頻編解碼器中，單個幀可以采用三個模式中的一個進行編碼 —— 即 I、P 或 B 幀模式見圖 3。幾個稱為 Intra I 的幀單獨編碼，無需參考任何其他幀無運動補償。某些幀可以利用 MC 編碼，以前一個幀為參考前向預測。這些幀稱為預測幀 P。B 幀或雙向預測幀通過之前的幀以及當前幀的后續(xù)幀進行預測。B 幀的優(yōu)勢是能夠匹配堵塞在采用前向預測的上一幀中的背景區(qū)域。雙向預測通過平衡前向及后向預測可以降低噪聲。在編碼器中采用這種功能會要求更多處理量，因為必須同時針對前向及后向預測執(zhí)行 ME，而這會明顯使運動估計計算需求加倍。為了保存兩個參考幀，編碼器與解碼器都需要更多內(nèi)存。B 幀工具需要更復雜的數(shù)據(jù)流，因為相對采集及顯示順序而言，幀不按順序解碼。這個特點會增加時延，因此不適合實時性較高的應用。B 幀不用于預測，因此可以針對某些應用進行取舍。例如，在低幀速應用中可以跳過它們而不會影響隨后 I 與 P 幀的解碼。圖3:I、P 與 B 幀間預測圖示6. 傳統(tǒng)視頻編碼標準H.261ITU 編制的 H.261[2] 標準是第一個主流視頻壓縮標準。它主要針對雙工視頻會議應用，是為支持 40kpbs～2Mbps 的 ISDN 網(wǎng)絡而設計的。H.261 支持 352288 CIF 及 176144 QCIF 分辨率，色度分辨率二次采樣為 4:2:0。由于可視電話需要同步實時編解碼，因此復雜性設計得較低。由于主要用于對延遲敏感的雙向視頻，因此 H.261 僅允許采用 I 與 P 幀，而不允許 B 幀。H.261 采用基于塊的 DCT 進行殘差信號的變換編碼。DCT 把像素的每個 88 塊映射到頻域，產(chǎn)生 64 個頻率成分第一個系數(shù)稱為 DC，其他的稱為 AC。為了量化 DCT 系數(shù)，H.261 在所有 AC 系數(shù)中采用固定的線性量化。量化后的系數(shù)進行行程編碼，其可以按非零系數(shù)描述量化的頻率，后面跟隨一串零系數(shù)，在最后一個非零值之后以塊代碼結束。最后，可變長度編碼 Huffman 將運行級別對 run-level pair 轉換成可變長度編碼 VLC，其比特長度已針對典型概率分布進行過優(yōu)化?；跇藴蕢K的編碼最終產(chǎn)生模塊化視頻。H.261 標準利用環(huán)路濾波避免這種現(xiàn)象。在模塊邊緣采用的簡單 2D FIR 濾波器用于平滑參考幀中的量化效應。必須同時在編碼器及解碼器中精確地對每個比特應用上述濾波。MPEG-1MPEG-1[3] 是 ISO 開發(fā)的第一個視頻壓縮算法。主要應用是數(shù)字媒體上動態(tài)圖像與音頻的存儲與檢索，如速率為 1.15Mbps、采用 SIF 分辨率352240 - 29.97fps 或者 352288 - 25 fps的VCD。MPEG-1 與 H.261 相似，不過編碼器一般需要更高的性能，以便支持電影內(nèi)容的較高運動性而不是典型的可視電話功能。與 H.261 相比，MPEG1 允許采用 B 幀。另外它還采用自適應感知量化，也就是說，對每個頻段采用單獨的量化比例因子或等步長，以便優(yōu)化人們的視覺感受。MPEG-1 僅支持逐行視頻，因此新標準——MPEG2 已經(jīng)開始做出努力，同時支持分辨率及比特率更高的逐行與隔行視頻。MPEG-2/H.262MPEG-2[4] 專門針對數(shù)字電視而開發(fā)，很快成為了迄今最成功的視頻壓縮標準。MPEG-2 既能夠滿足標準逐行視頻的需求其中視頻序列由一系列按一定時間間隔采集的幀構成，又能夠滿足電視領域常用的隔行視頻的需求。隔行視頻交替采集及顯示圖像中兩組交替的像素每組稱為一個場。這種方式尤其適合電視顯示器的物理特性。MPEG2 支持標準的電視分辨率，其中包括:針對美國和日本采用的 NTSC 制式隔行 720480 分辨率，每秒 60 場，以及歐洲和其他國家采用的PAL 制式的 720576 分辨率，每秒 50 場。MPEG-2 建立在 MPEG-1 基礎之上，并具備擴展功能，能支持隔行視頻及更寬的運動補償范圍。由于高分辨率視頻是非常重要的應用，因此 MPEG-2 支持的搜索范圍遠遠大于 MPEG-1。與之前的標準相比，它顯著提高了運動估計的性能要求，并充分利用更寬搜索范圍與更高分辨率優(yōu)勢的編碼器需要比 H.261 和 MPEG-1 高得多的處理能力。MPEG2 中的隔行編碼工具包含優(yōu)化運動補償?shù)哪芰?，同時支持基于場和基于幀的預測，而且同時支持基于場和基于幀的 DCT/IDCT。MPEG-2 在 30:1 左右的壓縮比時運行良好。MPEG-2 在 4-8Mbps 時達到的質(zhì)量適合消費類視頻應用，因此它很快在許多應用中得到普及，如:數(shù)字衛(wèi)星電視、數(shù)字有線電視、DVD 以及后來的高清電視等。另外，MPEG-2 增加了分級視頻編碼工具，以支持多層視頻編碼，即:時域分級、空域分級、SNR 分級以及數(shù)據(jù)分割。盡管 MPEG-2 中針對分級視頻應用定義了相關類別 profile，不過支持單層編碼的主類 Main Profile 是當今大眾市場中得到廣泛應用的唯一 MPEG-2 類。MPEG-2 通常稱為 MPEG-2 主類。MPEG-2 解碼最初對于通用處理器及 DSP 具有很高的處理要求。優(yōu)化的固定功能 MPEG-2 解碼器開發(fā)已問世，由于使用量較高，成本已逐漸降低。MPEG2 證明低成本芯片解決方案的供應是視頻編解碼標準成功和普及的關鍵。H.263H.263[5] 在 H.261 之后得到開發(fā)，主要是為了以更低的比特率實現(xiàn)更高的質(zhì)量。其主要目標之一是基于普通 28.8Kbps 電話調(diào)制解調(diào)器的視頻。目標分辨率是 SQCIF 12896～CIF 352288。其基本原理與 H.261 大同小異。H.263 的運動矢量在兩個方向上允許是 1/2 的倍數(shù)“半像素”，參考圖像以數(shù)字方式內(nèi)插到更高的分辨率。這種方法可以提高 MC 精度及壓縮比。MV 可采用更大的范圍。為不同方案提供許多新的選項，包括:* 4 個運動矢量——每個塊采用一個運動矢量，而非整個 MB 采用單個運動矢量。* 3D VLC:Huffman 編碼——將塊結束 EOB 指示符與每個運行級別對結合在一起。這種功能主要用于低比特率，這時大多時候只有一、兩個編碼系數(shù)。盡管存在這些功能，但是仍然很難在普通電話線上實現(xiàn)理想的視頻質(zhì)量，而且目前基于標準調(diào)制解調(diào)器的可視電話仍然是一個難題。不過，由于 H.263 一般情況下可提供優(yōu)于 H.261 的效率，它成為了電視會議首選的算法，但是，為了兼容舊系統(tǒng)，仍然需要支持 H.261。H.263 逐漸發(fā)展成為了 H.263+，其增加了可選的附件，為提高壓縮并實現(xiàn)分組網(wǎng)的魯棒性提供支持。H.263 及其附件構成了 MPEG-4 中許多編碼工具的核心。MPEG-4MPEG-4[6] 由 ISO 提出，以延續(xù) MPEG-2 的成功。一些早期的目標包括:提高容錯能力以支持無線網(wǎng)、對低比特率應用進行更好的支持、實現(xiàn)各種新工具以支持圖形對象及視頻之間的融合。大部分圖形功能并未在產(chǎn)品中受到重視，相關實施主要集中在改善低比特率壓縮及提高容錯性上。.MPEG-4 簡化類 SP 以H.263為基礎，為改善壓縮增加了新的工具，包括:* 無限制的運動矢量:支持對象部分超出幀邊界時的預測。* 可變塊大小運動補償:可以在 1616 或 88 粒度下進行運動補償。* 上下文自適應幀內(nèi) DCT DC/AC 預測:可以通過當前塊的左右相鄰塊預測 DC/AC DCT 系數(shù)。* 擴展量化 AC 系數(shù)的動態(tài)范圍，支持高清視頻:從 H.263 的 [-127:127] 到 [-2047， 2047]。增加了容錯功能，以支持丟包情況下的恢復，包括:* 片斷重同步 Slice Resynchronization:在圖像內(nèi)建立片斷 slice，以便在出現(xiàn)錯誤后更快速的進行重新同步。與 MPEG-2 數(shù)據(jù)包大小不同，MPEG4 數(shù)據(jù)包大小與用于描述 MB 的比特數(shù)量脫離了聯(lián)系。因此，不管每個 MB 的信息量多少，都可以在位流中按相同間隔進行重新同步。* 數(shù)據(jù)分割:這種模式允許利用唯一的運動邊界標記將視頻數(shù)據(jù)包中的數(shù)據(jù)分割成運動部分和 DCT 數(shù)據(jù)部分。這樣就可以實現(xiàn)對運動矢量數(shù)據(jù)更嚴格的檢查。如果出現(xiàn)錯誤，我們可以更清楚地了解錯誤之處，從而避免在發(fā)現(xiàn)錯誤情況下拋棄所有運動數(shù)據(jù)。* 可逆 VLC:VLC 編碼表允許后向及前向解碼。在遇到錯誤時，可以在下一個slice進行同步，或者開始編碼并且返回到出現(xiàn)錯誤之處。* 新預測 NEWPRED:主要用于在實時應用中實現(xiàn)快速錯誤恢復，這些應用中的解碼器在出現(xiàn)丟包情況下采用逆向通道向解碼器請求補充信息。MPEG-4 高級簡化類 ASP 以簡化類為基礎，增加了與 MPEG-2 類似的 B 幀及隔行工具用于Level 4 及以上級別。另外它還增加了四分之一像素運動補償及用于全局運動補償?shù)倪x項。MPEG-4 高級簡化類比簡化類的處理性能要求更高，而且復雜性與編碼效率都高于 MPEG-2。MPEG-4 最初用于因特網(wǎng)數(shù)據(jù)流，例如，已經(jīng)被 Apple 的 QuickTime 播放器采用。MPEG-4 簡化類目前在移動數(shù)據(jù)流中得到廣泛應用。MPEG-4 ASP 是已經(jīng)流行的專有 DivX 編解碼器的基石。工具與壓縮增益當我們查看 H.261、MPEG1、MPEG2 與 H.263 視頻編解碼技術中引入的功能時，明顯可以發(fā)現(xiàn)幾種基本技巧提供了大部分壓縮增益。圖 4 說明這些技巧及其相關效果。與 4 個運動矢量以及四分之一像素運動補償?shù)裙ぞ呦啾?，運動補償整數(shù)像素與半像素的效果顯然更為突出。圖 4:基本技巧的效果:1 無 MC；2 增加 Skip 模式構成 CR 編碼器；3 僅允許零 MV；4 允許整數(shù)像素 MC；5 允許半像素 MC；6 允許 4-MV；7 允許四分之一像素MC。如欲了解有關詳細說明，敬請參見 [7]。7. H.264/ MPEG4-AVC視頻編碼技術在過去幾年最重要的發(fā)展之一是由 ITU 和 ISO/IEC 的聯(lián)合視頻小組 JVT 開發(fā)了 H.264/MPEG-4 AVC[8] 標準。在發(fā)展過程中，業(yè)界為這種新標準取了許多不同的名稱。ITU 在 1997 年開始利用重要的新編碼工具處理 H.26L長期，結果令人鼓舞，于是 ISO 決定聯(lián)手 ITU 組建 JVT 并采用一個通用的標準。因此，大家有時會聽到有人將這項標準稱為 JVT，盡管它并非正式名稱。ITU 在 2003 年 5 月批準了新的 H.264 標準。ISO 在 2003 年 10 月以 MPEG-4 Part 10、高級視頻編碼或 AVC 的名稱批準了該標準。H.264/AVC 在壓縮效率方面取得了巨大突破，一般情況下達到 MPEG-2 及 MPEG-4 簡化類壓縮效率的大約 2 倍。在 JVT 進行的正式測試中 [9]，H.264 在 85 個測試案例中有 78％ 的案例實現(xiàn) 1.5 倍以上的編碼效率提高，77％ 的案例中達到 2 倍以上，部分案例甚至高達 4 倍。H.264 實現(xiàn)的改進創(chuàng)造了新的市場機遇，如:* 600Kbps 的 VHS 品質(zhì)視頻。可以通過 ADSL 線路實現(xiàn)視頻點播。* 高清晰電影無需新的激光頭即可適應普通 DVD。H.264 標準化時支持三個類別:基本類、主類及擴展類。后來一項稱為高保真范圍擴展 FRExt 的修訂引入了稱為高級類的 4 個附加類。在初期主要是基本類和主類引起了大家的興趣?；绢惤档土擞嬎慵跋到y(tǒng)內(nèi)存需求，而且針對低時延進行了優(yōu)化。由于 B 幀的內(nèi)在時延以及 CABAC 的計算復雜性，因此它不包括這兩者?；绢惙浅＿m合可視電話應用以及其他需要低成本實時編碼的應用。主類提供的壓縮效率最高，但其要求的處理能力也比基本類高許多，因此使其難以用于低成本實時編碼和低時延應用。廣播與內(nèi)容存儲應用對主類最感興趣，它們是為了盡可能以最低的比特率獲得最高的視頻質(zhì)量。盡管 H.264 采用與舊標準相同的主要編碼功能，不過它還具有許多與舊標準不同的新功能，它們一起實現(xiàn)了編碼效率的提高。圖 5 的編碼器框圖總結了其主要差別，概述如下:幀內(nèi)預測與編碼:H.264 采用空域幀內(nèi)預測技術來預測相鄰塊鄰近像素的 Intra-MB 中的像素。它對預測殘差信號和預測模式進行編碼，而不是編碼塊中的實際像素。這樣可以顯著提高幀內(nèi)編碼效率。幀間預測與編碼:H.264 中的幀間編碼采用了舊標準的主要功能，同時也增加了靈活性及可操作性，包括適用于多種功能的幾種塊大小選項，如:運動補償、四分之一像素運動補償、多參考幀、通用 generalized 雙向預測和自適應環(huán)路去塊?？勺兪噶繅K大小:允許采用不同塊大小執(zhí)行運動補償?？梢詾樾≈?44 的塊傳輸單個運動矢量，因此在雙向預測情況下可以為單個 MB 傳輸多達 32 個運動矢量。另外還支持 168、816、88、84 和 48 的塊大小。降低塊大小可以提高運動細節(jié)的處理能力，因而提高主觀質(zhì)量感受，包括消除較大的塊化失真。四分之一像素運動估計:通過允許半像素和四分之一像素運動矢量分辨率可以改善運動補償。多參考幀預測:16 個不同的參考幀可以用于幀間編碼，從而可以改善視頻質(zhì)量的主觀感受并提高編碼效率。提供多個參考幀還有助于提高 H.264 位流的容錯能力。值得注意的是，這種特性會增加編碼器與解碼器的內(nèi)存需求，因為必須在內(nèi)存中保存多個參考幀。自適應環(huán)路去塊濾波器:H.264 采用一種自適應解塊濾波器，它會在預測回路內(nèi)