在計(jì)算機(jī)視覺中，光流法即可用于運(yùn)動(dòng)目標(biāo)檢測(cè),，也可以用于目標(biāo)跟蹤,。本文主要介紹光流法在運(yùn)動(dòng)目標(biāo)檢測(cè)和目標(biāo)跟蹤中的區(qū)別與聯(lián)系。

1,、光流與光流場(chǎng)

        光流的概念最初是由 Gibson 于 1950 年首先提出來的,。當(dāng)人的眼睛觀察運(yùn)動(dòng)物體時(shí)，物體的景象在人眼的視網(wǎng)膜上形成一系列連續(xù)變化的圖像,，這一系列連續(xù)變化的信息不斷“流過”視網(wǎng)膜(即圖像平面),，好像是一種光的“流”，故稱之為光流,。光流表達(dá)圖像的變化,，包含目標(biāo)運(yùn)動(dòng)的信息，可用來確定目標(biāo)的運(yùn)動(dòng),。光流三個(gè)要素：一是運(yùn)動(dòng)速度場(chǎng),這是形成光流的必要條件,；二是帶光學(xué)特征的部分例如有灰度的象素點(diǎn)，它可以攜帶運(yùn)動(dòng)信息,；三是成像投影從場(chǎng)景到圖像平面,，因而能被觀察到。

        定義光流以點(diǎn)為基礎(chǔ),，具體來說,，設(shè)(u, v) 為圖像點(diǎn) (x, y) 的光流，則把 (x, y, u, v) 稱為光流點(diǎn),。所有光流點(diǎn)的集合稱為光流場(chǎng),。 當(dāng)帶光學(xué)特性的物體在三維空間運(yùn)動(dòng)時(shí)，在圖像平面上就形成了相應(yīng)的圖像運(yùn)動(dòng)場(chǎng),，或稱為圖像速度場(chǎng),。在理想情況下，光流場(chǎng)對(duì)應(yīng)于運(yùn)動(dòng)場(chǎng),。

        總而言之,，光流是由圖像的亮度變化形成的，因此,，光流場(chǎng)近似于運(yùn)動(dòng)場(chǎng),。

2、光流場(chǎng)的計(jì)算

2.1,、光流約束方程

       光流場(chǎng)的計(jì)算最初是由 Horn 和 Schunck[1]于 1981 年提出的,，而后由 Lueas 和 Kanad[2]提出了改進(jìn)光流算法。

       光流法的核心就是求解出運(yùn)動(dòng)目標(biāo)的光流,，即速度,。根據(jù)視覺感知原理,，客觀物體在空間上一般是相對(duì)連續(xù)運(yùn)動(dòng)的，在運(yùn)動(dòng)過程中,，投射到傳感器平面上的圖像實(shí)際上也是連續(xù)變化的,。為此可以假設(shè)瞬時(shí)灰度值不變，即灰度不變性原理,。由此可以得到光流基本方程,，灰度對(duì)時(shí)間的變化率等于灰度的空間梯度與光流速度的點(diǎn)積。如下：

       約束方程只有一個(gè),，而方程的變量有兩個(gè),，在這種情況下無法求得 u 和 v 的確切值。這種不確定性稱為孔徑問題(aperture problem),。此時(shí)需要引入另外的約束條件,，從不同的角度引入約束條件，導(dǎo)致了不同的光流場(chǎng)計(jì)算方法,。到目前為止,，各種各樣的方法和改進(jìn)方法己不下幾十種，這些方法有著很大的差異,，對(duì)現(xiàn)有方法還缺乏一個(gè)系統(tǒng)的分類,。這里將光流算法分為以下四大類：

• 基于梯度的光流計(jì)算方法
• 基于區(qū)域的光流計(jì)算方法
• 基于頻域的光流計(jì)算方法
• 貝葉斯(Bayesian)光流算法

2.2、基于梯度的光流計(jì)算方法

       基于梯度的方法又稱為時(shí)空梯度法,，也稱微分法，它是利用圖像序列灰度的時(shí)空微分(即時(shí)空梯度函數(shù))來計(jì)算圖像上每一像素點(diǎn)的光流,。微分法分為：

（1）全局微分法：

               Horn-Schunck算法：假設(shè)光流在整個(gè)圖像上光滑變化,即速度的變化率為零,。

（2）局部微分法：

               Lucas-Kanade算法：假設(shè)在一個(gè)小空間領(lǐng)域上運(yùn)動(dòng)矢量保持恒定，使用加權(quán)最小二乘法估計(jì)光流,。

3,、光流的應(yīng)用

3.1、運(yùn)動(dòng)目標(biāo)檢測(cè)

         給圖像中的每個(gè)像素點(diǎn)賦予一個(gè)速度矢量,，這樣就形成了一個(gè)運(yùn)動(dòng)矢量場(chǎng),。根據(jù)各個(gè)像素點(diǎn)的速度矢量特征，可以對(duì)圖像進(jìn)行動(dòng)態(tài)分析,。如果圖像中沒有運(yùn)動(dòng)目標(biāo),，則光流矢量在整個(gè)圖像區(qū)域是連續(xù)變化的。當(dāng)圖像中有運(yùn)動(dòng)物體時(shí),，目標(biāo)和背景存在著相對(duì)運(yùn)動(dòng),。運(yùn)動(dòng)物體所形成的速度矢量必然和背景的速度矢量有所不同，如此便可以計(jì)算出運(yùn)動(dòng)物體的位置,。需要提醒的是,，利用光流法進(jìn)行運(yùn)動(dòng)物體檢測(cè)時(shí),，計(jì)算量較大，無法保證實(shí)時(shí)性和實(shí)用性,。

3.2,、目標(biāo)跟蹤
（1）對(duì)一個(gè)連續(xù)的視頻幀序列進(jìn)行處理；
（2）針對(duì)每一個(gè)視頻序列,，利用一定的目標(biāo)檢測(cè)方法,，檢測(cè)可能出現(xiàn)的前景目標(biāo)；
（3）如果某一幀出現(xiàn)了前景目標(biāo),，找到其具有代表性的關(guān)鍵特征點(diǎn)（可以隨機(jī)產(chǎn)生,，也可以利用角點(diǎn)來做特征點(diǎn)）；
（4）對(duì)之后的任意兩個(gè)相鄰視頻幀而言,，尋找上一幀中出現(xiàn)的關(guān)鍵特征點(diǎn)在當(dāng)前幀中的最佳位置,，從而得到前景目標(biāo)在當(dāng)前幀中的位置坐標(biāo)；
（5）如此迭代進(jìn)行,，便可實(shí)現(xiàn)目標(biāo)的跟蹤,；

參考文獻(xiàn)：
[1] Berthold K. P. Horn, Brian G. Schunck. Determining Optical Flow[J]. Artificial Intelligence, 1981: 185-203.
[2] Bruce D. Lucas, Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision[J]. Proceeding of Imaging Understanding Workshop, 1981: 120-131.