武漢艾崴為新疆研發一款FPGA的圖像處理係統
作者： / / 閱讀人數：0
新疆針對目前采用通用計算機、多ＣＰＵ並行、ＤＳＰ等方法實現實時圖像處理的不足，武漢艾崴研究了一種基於ＦＰＧＡ的圖像處理係統，由圖像采集和圖像處理基本算法兩部分組成．圖像采集選用 ＯＶ7670圖像傳感器，其內部集成了傳感器及圖像處理單元，可以直接輸出數字信號給ＦＰＧＡ．圖像處理選用 Ａｌｔｅｒａ公司的ＣｙｃｌｏｎｅＩＩ係列的 ＦＰＧＡ芯片，在芯片上完成了圖像采集的控製，模擬了Ｉ２Ｃ總線協議，通過 設計ＦＰＧＡ的內部邏輯實現了圖像灰度化、中值濾波、邊緣檢測等圖像處理基本算法，使處理速度遠遠快於軟件方法．仿真結果顯示：該係統實現了實時圖像的快速采集和處理，最高能達到３０幀／ｓ，並且分辨率為６４０×４８０。
圖像采集與圖像處理一直是比較熱門的研究領域，涉及到信號處理、人工智能、模式識別等多種學科，主要應用在汽車電子、消費電子、安保監控、國防軍工以及３Ｄ投影等領域。 隨著信息技術的發展，對於圖像的獲取與處理的方案越來越多，例如專用模擬器件、ＡＳＩＣ 芯 片、ＤＳＰ芯片及 ＡＲＭ 芯片都能應用於圖像處理領域．ＡＳＩＣ是專用集成電路，比較適合解決實時圖像處理並且其處理速度快於ＦＰＧＡ，但其具有開發周期長、成本高以及設計出廠後不能根據需求進行修改、靈活性差等缺點．ＡＲＭ 和 ＤＳＰ還是一種 ＣＰＵ，其串行的結構並不適應某些實時性較強的圖像處理算法。而 ＦＰＧＡ 可根據需求，通過設計完成不同功能的硬件電路，在設計中可采用流水線和並行處理的技術，使其在處理算法上具有高效性，並且其開發周期相對於 ＡＳＩＣ短，易於維護和拓展，在實時圖像處理方麵具有很大的優勢，新疆目前多種圖像處理算法如圖像縮放、圖像旋轉、圖像壓縮、邊緣檢測、直方圖均衡化、中值濾波都適合用ＦＰＧＡ處理，並且相關算法也在不斷完善。綜上所述，武漢艾崴在此研究基於ＦＰＧＡ的圖像處理係統，並提出快速中值濾波和ｓｏｂｅｌ邊緣檢測算法的 ＦＰＧＡ 實現。
一、係統總體結構和工作原理
係統采用 OV7670數字圖像傳感器采集圖像，圖像處理以及其他控製模塊采Altera 公司的CycloneII係列FGAP芯片，型號為EP2C8Q208C8，速度等級為8，最高工作頻率為320MHz，有8256 個邏輯單元,采用一片64Mbit的SDRAM芯片存儲圖像，將最後處理後的圖像輸入到VGA顯示．總體結構圖如圖１所示．
係統采用５０ ＭＨｚ晶振，上電後通過ＦＰＧＡ內部邏輯模擬的Ｉ２Ｃ協議對 ＯＶ７６７０圖像傳感器進行控製寄存器的配置，設定工作方式，設置輸出圖像格式為 ＹＣｂＣｒ４：２：２，即８ｂｉｔ亮度信號和８ｂｉｔ色度信號間隔輸出．係統參數初始化後，ＦＰＧＡ 通過ＰＬＬ分頻為圖像傳感器提供２５ＭＨｚ的時鍾，實時讀出行同步信號、幀同步信號、８ｂｉｔ圖像數 據和像素時鍾．格式轉換模塊接收 ＯＶ７６７０圖像傳感器傳來的數據，間隔取８ｂｉｔ的亮度信號即８ｂｉｔ灰度圖像數據，再送至數據緩衝和存取控製模塊．由於圖像采集模塊采用的頻率為２５ＭＨｚ，而 ＳＤＲＡＭ 控製模塊采用的頻率為１００ＭＨｚ，所以利用異步 ＦＩＦＯ 將數據暫存，並控製啟動 ＳＤＲＡＭ 存儲器的上電刷新操作，然後對ＳＤＲＡＭ 進 行 讀 寫，把 一 幀 圖 像數據先寫入ＳＤＲＡＭ，同時將圖像數據送至圖像處理模塊，在該模塊完成中值濾波或邊緣檢測．中值濾波和邊緣檢測都是基於方形窗口操作的，因此主要由三個模塊實現：邊緣檢測功能模塊，中值濾波功能模塊，３×３方窗口生成模塊．
本係統沒有采用傳統的中值濾波方法，而且是利用一種快速中值濾波的算法，通過多級流水的方式，加快了運算速度．邊緣檢測采用Ｓｏｂｅｌ算子來計算ｘ方向和ｙ 方向的導數值，然後將兩個方向的導數值取絕對值相加，得到中心像素點的近似梯度．將處理完的圖片數據再存入ＳＤＲＡＭ，最後利用乒乓操作，采用ＦＩＦＯ行緩存的方式，將ＳＤＲＡＭ 中處理完成的圖片輸出到 ＶＧＡ 顯示．
係統中Ｉ２Ｃ 協議是一種串行通信總線，主要的用途在於控製芯片．Ｉ２Ｃ隻使用兩條雙向線，分別為串行數 據 ＳＤＡ 及串行時鍾ＳＣＬ，由一 個主控製端（Ｍａｓｔｅｒ）控製多個從設備（Ｓｌａｖｅ）．本係統中的主控製端是ＦＰＧＡ，從設備是 ＯＶ７６７０圖像傳感器.
二、 核心模塊設計及仿真
2.1 IC控製模塊設計及仿真
ＩＣ控製模塊主要有三部分組成，分別為控製模塊、功能模塊和 ＲＯＭ 模塊，其中：功能模塊主要完成數據的並串轉換，根據協議要求把控製模塊輸入的地址和數據轉換成 ＳＤＡ／ＳＣＬ電平的高低變化；控製模塊利用狀態機的方式從 ＲＯＭ中讀取配置好的數據，並將數據輸給功能模塊，同時輸出激勵信號，使功能模塊工作．
ＩＣ控製模塊仿真時序圖如圖２所示．圖中是一次寫操作，地址是０２Ｈ，寫入數據是６ＦＨ．當ＳＣＬ為高電平時，ＳＤＡ拉低電平，即起始信號；然後發送８ｂｉｔ設備地址，收到設備應答信號 ＡＣＫ； 發送８ｂｉｔ寄存器地址０２Ｈ，收到應答信號；寫入數據６ＦＨ，收到應答信號；最後當ＳＣＬ為高電平時，拉高ＳＤＡ，結束這次寫操作．
2.2 窗模塊實現及仿真
滑動窗操作是圖像中值濾波和邊緣檢測的基礎，它使用一個窗口，這個窗可以是一個點周圍的特定長度或形狀的鄰域，來計算算法的輸出．方形窗大小可自行確定，通常采用奇數大小的滑動窗口，本係統采用３×３方形窗．對每點鄰域內的８個點和自身一共９個點進行圖像處理相關計算．須要同一時刻將９個點的灰度數據輸出，采用行緩存和列同步的方法．３×３方形窗生成模塊結構圖如圖３所示．
如圖３所示，圖中 Ｄ是８ｂｉｔ的圖像灰度數據，Ｌｉｎｅ－ Ｂｕｆｆｅｒ是 固 定深 度 的 ＦＩＦＯ，本研究采用 ２ 個 １０２４ｂｙｔｅ深 度 的 ＦＩＦＯ 作 為 行 緩 存，來緩存前２行的圖像數據，當第３行數據輸入時，通過列同步模塊，將３×３方形窗內的９個像素的灰度數據同一時刻輸出，以此類推，通過控製讀寫 ＦＩＦＯ，使其中的數據始終是輸出當前行的前２行的圖像數據，保證每一時刻有９個數據同時輸出，整體是一個流水的架構．３×３方形窗生成模塊仿真波形圖如圖４所示．
2.3快速中值濾波模塊設計
中值濾波是一種常見圖像預處理方 法，能 夠有效地去除噪聲，平滑圖像，與均值濾波以及其他線性濾波器相比，它能夠在去噪的同時不模糊圖像的邊緣，較好地保持圖像的清晰度。
中值濾波算法是將３×３方形窗模塊輸出的９個像素的灰度數據進行比較排序，最後輸出中間值．最原始的方法是冒泡排序法，通過計算，每執行一次算法，須要３６次比較，速度較慢．因此，本係統設計時采用快速中值濾波的方法，利用了並行和流水線的處理方法，完成一次中值濾波須要１９次比較，經過９個時鍾的潛伏期以後每個時鍾計算出一個結果，大大加快了中值濾波的計算速度．計算原理如圖５所示，將窗模塊輸出的９個數據分３組（Ｃ１，Ｃ２，Ｃ３），每組３個數據按從大到小輸出排 列，然 後 分 別 並 行 比 較 Ｃ１，Ｃ２ 和 Ｃ３中 的 ｍａｘ，ｍｉｄ和 ｍｉｄ和 ｍｉｎ，得到 ｍａｘ組中的最小值，ｍｉｄ組中 的中 間 值，ｍｉｎ組中 的最大值，最後將這３個 值 輸 入 Ｃ 中，比 較 計算 得 出 中 間 值，即 為３×３方形窗的中心像素點經過中值濾波的結果．計算原理及過程如圖５所示．
圖５中有７個比較器，為自定義３輸入３輸出流水比較器，潛伏期３個時鍾．采用冒泡排序，最後按從大到小輸出．
三、仿真結果分析
由於圖像處理的數據量大，采用 Ａｌｔｅｒａ公司的 ＥＰ２Ｃ８Ｑ２０８Ｃ８速度等級為８的 ＦＰＧＡ 芯 片，利用硬件邏輯的方式來並行處理的圖像數據，相對於同等級或同工藝的 ＤＳＰ和 ＡＲＭ 等芯片，具 有運行效率高、速度快等優點．在中值濾波的實現中，采用本文方案，運行在５０ＭＨｚ就能快速實現該功能，而采用同工藝９０ｎｍ 的 ＤＳＰ要達到同樣的速度須要運行在１．５ＧＨｚ的頻率下。
在研究其他相關係統的基礎上，該係統在圖像處理模塊采用了並行流水線的設計，並且在存取控製模塊與圖像處理模塊之間、存取控製模塊與數據采集模塊之間均采用了異步 ＦＩＦＯ，用 於行緩存，因此圖像采集和圖像處理可並行執行，可達到實時圖像處理的效果．ＯＶ７６７０ 輸 出 ６４０×４８０分辨率３０幀／ｓ的數據，圖像處理模塊可實時完成中值濾波或邊緣檢測．
該係統設置了命令字控製字寄存器，外部處理器隻須要給定係統合理的控製字命令字就能完成不同的功能，如根據需求設置處理圖像的大小．該係統靈活度高，適用於多種不同要求的實時圖像處理．
硬件處理方案中，仿真用 Ｍｏｄｅｌｓｉｍ ＳＥ１０.０ｃ得到邏輯電路運行算法所耗時間．由仿真結果可知：ＦＰＧＡ 芯片在５０ ＭＨｚ的頻率下處理一幅６４０×４８０分辨率的８ｂｉｔ灰度級的圖像，完成中值濾波運算耗時為６．１４４ｍｓ，完成邊緣檢測運算耗時為６．１４４ｍｓ，中值濾波潛伏期為２５．７８μｓ，邊緣檢測潛伏期為２５．７０μｓ．
下麵給出軟件方案的效率．使用 ＣＰＵ 為Ｉｎ－ｔｅｌＣｏｒｅ２且 頻 率為２．２ＧＨｚ，內 存２ＧＢ，３２ｂｉｔＷＩＮ７操作係統的 ＰＣ 機，利用 Ｍａｔｌａｂ對同等分辨率的圖像進行中值濾波和邊緣檢測仿真，結果顯示：中值濾 波 運 算 時 間 為７１８ｍｓ，邊 緣 檢測 運算時間為６３２ｍｓ，相比而言，本係統對圖像處理的硬件解決方案比軟件方案快１００倍以上．
武漢艾崴研究設計的係統靈活，運行效率高，該係統為圖像識別和其他高級圖像算法的基礎，具有較強的現實意義．