幀間預(yù)測(cè)編碼是利用視頻圖像幀間的相關(guān)性，即時(shí)間相關(guān)性,，來(lái)達(dá)到圖像壓縮的目的,，廣泛用于普通電視、會(huì)議電視,、視頻電話,、高清晰度電視的壓縮編碼。

在圖像傳輸技術(shù)中,，活動(dòng)圖像特別是電視圖像是關(guān)注的主要對(duì)象,。活動(dòng)圖像是由時(shí)間上以幀周期為間隔的連續(xù)圖像幀組成的時(shí)間圖像序列，它在時(shí)間上比在空間上具有更大的相關(guān)性,。大多數(shù)電視圖像相鄰幀間細(xì)節(jié)變化是很小的,，即視頻圖像幀間具有很強(qiáng)的相關(guān)性，利用幀所具有的相關(guān)性的特點(diǎn)進(jìn)行幀間編碼,，可獲得比幀內(nèi)編碼高得多的壓縮比,。對(duì)于靜止圖像或活動(dòng)很慢的圖像，可以少傳一些幀,，如隔幀傳輸,，未傳輸?shù)膸媒邮斩说膸鎯?chǔ)器中前一幀的數(shù)據(jù)作為該幀數(shù)據(jù),，對(duì)視覺(jué)沒(méi)有什么影響,。因?yàn)槿搜蹖?duì)圖像中靜止或活動(dòng)慢的部分，要求有較高的空間分辨率,，而對(duì)時(shí)間分辨率的要求可低些,。這種方法叫幀重復(fù)方法，廣泛應(yīng)用于視頻電話,、視頻會(huì)議系統(tǒng)中,，其圖像幀速率一般為1~15幀/秒。

采用預(yù)測(cè)編碼的方法消除序列圖像在時(shí)間上的相關(guān)性,，即不直接傳送當(dāng)前幀的像素值,，而是傳送x和其前一幀或后一幀的對(duì)應(yīng)像素x'' 之間的差值,這稱為幀間預(yù)測(cè)。當(dāng)圖像中存在著運(yùn)動(dòng)物體時(shí),，簡(jiǎn)單的預(yù)測(cè)不能收到好的效果,，例如在圖04-01-6中當(dāng)前幀與前一幀的背景完全一樣，只是小球平移了一個(gè)位置,，如果簡(jiǎn)單地以第k-1幀像素值作為k幀的預(yù)測(cè)值,，則在實(shí)線和虛線所示的圓內(nèi)的預(yù)測(cè)誤差都不為零。如果已經(jīng)知道了小球運(yùn)動(dòng)的方向和速度,，可以從小球在k-1幀的位置推算出它在k幀中的位置來(lái),，而背景圖像（不考慮被遮擋的部分）仍以前一幀的背景代替，將這種考慮了小球位移的k-1幀圖像作為k幀的預(yù)測(cè)值,，就比簡(jiǎn)單的預(yù)測(cè)準(zhǔn)確得多,，從而可以達(dá)到更高的數(shù)據(jù)壓縮比。這種預(yù)測(cè)方法稱為具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè),。

圖 04-01-6 幀間預(yù)測(cè)與具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)

具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)編碼是視頻壓縮的關(guān)鍵技術(shù)之一,，它包括以下幾個(gè)步驟：首先，將圖像分解成相對(duì)靜止的背景和若干運(yùn)動(dòng)的物體,，各個(gè)物體可能有不同的位移,，但構(gòu)成每個(gè)物體的所有像素的位移相同,，通過(guò)運(yùn)動(dòng)估值得到每個(gè)物體的位移矢量；然后,，利用位移矢量計(jì)算經(jīng)運(yùn)動(dòng)補(bǔ)償后的預(yù)測(cè)值,；最后對(duì)預(yù)測(cè)誤差進(jìn)行量化、編碼,、傳輸，同時(shí)將位移矢量和圖像分解方式等信息送到接收端,。圖04-01-7示出了具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)器的原理框圖,。

圖04-01-7 具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)器功能框圖

在具有運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)編碼系統(tǒng)中，對(duì)圖像靜止區(qū)和不同運(yùn)動(dòng)區(qū)的實(shí)時(shí)完善分解和運(yùn)動(dòng)矢量計(jì)算是較為復(fù)雜和困難的,。在實(shí)際實(shí)現(xiàn)時(shí)經(jīng)常采用的是像素遞歸法和塊匹配法兩種簡(jiǎn)化的辦法,。

像素遞歸法的具體作法是，仍需通過(guò)某種較為簡(jiǎn)單的方法首先將圖像分割成運(yùn)動(dòng)區(qū)和靜止區(qū),。在靜止區(qū)內(nèi)像素的位移為零,，不進(jìn)行遞歸運(yùn)算；對(duì)運(yùn)動(dòng)區(qū)內(nèi)的像素,，利用該像素左邊或正上方像素的位移矢量D作為本像素的位移矢量,，然后用前一幀對(duì)應(yīng)位置上經(jīng)位移D后的像素值作為當(dāng)前幀中該像素的預(yù)測(cè)值。如果預(yù)測(cè)誤差小于某一閾值,，則認(rèn)為該像素可預(yù)測(cè),，無(wú)需傳送信息；如果預(yù)測(cè)誤差大于該閾值,，編碼器則需傳送量化后的預(yù)測(cè)誤差,、以及該像素的地址，收,、發(fā)雙方各自根據(jù)量化后的預(yù)測(cè)誤差更新位移矢量,。由此可見(jiàn)，像素遞歸法是對(duì)每一個(gè)像素根據(jù)預(yù)測(cè)誤差遞歸地給出一個(gè)估計(jì)的位移矢量,，因而不需要單獨(dú)傳送位移矢量給接收端,。

塊匹配法是另一種更為簡(jiǎn)單的運(yùn)動(dòng)估值方法。它將圖像劃分為許多子塊,，并認(rèn)為子塊內(nèi)所有像素的位移量是相同的,，這意味著將每個(gè)子塊視為一個(gè)“運(yùn)動(dòng)物體”。對(duì)于某一時(shí)間t,圖像幀中的某一子塊如果在另一時(shí)間t-t1的幀中可以找到若干與其十分相似的子塊,，則稱其中最為相似的子塊為匹配塊,，并認(rèn)為該匹配塊是時(shí)間t-t1的幀中相應(yīng)子塊位移的結(jié)果。位移矢量由兩幀中相應(yīng)子塊的坐標(biāo)決定,。

考慮到一定時(shí)間間隔內(nèi)物體可能的運(yùn)動(dòng)速度,、運(yùn)動(dòng)范圍和匹配搜索所需的計(jì)算量，在匹配搜索時(shí)一般僅在一個(gè)有限范圍內(nèi)進(jìn)行。假設(shè)在給定時(shí)間間隔內(nèi)最大可能的水平和垂直位移為d h和d v個(gè)像素,，則搜索范圍SR為

其中M,、N為子塊的水平和垂直像素?cái)?shù)。

在塊匹配方法中需要解決兩個(gè)問(wèn)題：一是確定判別兩個(gè)子塊匹配的準(zhǔn)則,；二是尋找計(jì)算量最少的匹配搜索算法,。判斷兩個(gè)子塊相似程度的準(zhǔn)則可以利用兩個(gè)塊間歸一化的二維互相關(guān)函數(shù)、兩子塊間亮度的均方差MSE或兩子塊間亮度差絕對(duì)值的均值MAD等,。通過(guò)對(duì)不同判別準(zhǔn)則的比較研究表明,，各種判別準(zhǔn)則對(duì)位移矢量的估值精度影響差別不是很大。由于MAD準(zhǔn)則的計(jì)算不含有乘法和除法運(yùn)算而成為最常使用的匹配判別準(zhǔn)則,。MAD準(zhǔn)則定義如下：

其中Xk和Xk-1分別表示圖像在第k幀和第k-1幀的像素值,。當(dāng)MAD最小時(shí)，表示兩個(gè)子塊匹配,。

對(duì)于匹配搜索算法,，最簡(jiǎn)單和直接的方法就是全搜索方式，即將第k-1幀中的子塊在整個(gè)搜索區(qū)內(nèi)逐個(gè)像素移動(dòng),，每移動(dòng)一次計(jì)算一次判決函數(shù),。總的移動(dòng)次數(shù)為 (2d h + 1)(2d v + 1),。當(dāng)d h = d v = 6時(shí),，總的計(jì)算次數(shù)為169。顯然,，全搜索的運(yùn)算量是相當(dāng)大的,。為了加快搜索過(guò)程，人們提出了許多不同的搜索方法,，其中應(yīng)用較廣的有二維對(duì)數(shù)法,、三步法、共軛方向法和正交搜索法,。這幾種方法都基于如下的假設(shè)：當(dāng)偏離最小誤差方向時(shí),，判決函數(shù)是單調(diào)上升的，搜索總沿著判決函數(shù)值減小的方向進(jìn)行,。上述幾種方案所需的搜索步驟和計(jì)算點(diǎn)數(shù)略有差異,，但基本思路是一致的。

通過(guò)上面介紹的兩種運(yùn)動(dòng)矢量估值方法可以看出,，像素遞歸法對(duì)每一個(gè)像素給出一個(gè)估計(jì)的位移矢量,，因而對(duì)較小面積物體的運(yùn)動(dòng)估值較為精確。但像素遞歸法在估值時(shí)需要進(jìn)行疊代運(yùn)算,，從而存在著收斂速度和穩(wěn)定性問(wèn)題,。塊匹配法對(duì)同一子塊內(nèi)位移量不同的像素只能給出同一個(gè)位移估值,，限制了對(duì)每一像素的估值精度。但對(duì)于面積較大的運(yùn)動(dòng)物體而言,，采用塊匹配法的預(yù)測(cè)要比采用像素遞歸法的預(yù)測(cè)效果好,。另外，從軟硬件實(shí)現(xiàn)角度看,，塊匹配算法相對(duì)簡(jiǎn)單,，在實(shí)際活動(dòng)圖像壓縮編碼系統(tǒng)中得到較為普遍的應(yīng)用。