詳解利用OpenCV提取圖像中的矩形區(qū)域（PPT屏幕等）
前言
最近參加了大創(chuàng)項(xiàng)目，題目涉及到計(jì)算機(jī)視覺(jué)，學(xué)姐發(fā)了個(gè)修正圖像的博客鏈接，于是打算用這個(gè)題目入門(mén)OpenCV。
分析問(wèn)題
照片中的PPT區(qū)域總是沿著x,y,z三個(gè)軸都有傾斜（如下圖），要想把照片翻轉(zhuǎn)到平行位置，需要進(jìn)行透視變換，而透視變換需要同一像素點(diǎn)變換前后的坐標(biāo)。由此可以想到，提取矩形區(qū)域四個(gè)角的坐標(biāo)作為變換前的坐標(biāo)，變換后的坐標(biāo)可以設(shè)為照片的四個(gè)角落，經(jīng)過(guò)投影變換，矩形區(qū)域?qū)?huì)翻轉(zhuǎn)并充滿圖像。
因此我們要解決的問(wèn)題變?yōu)椋禾崛【匦蔚乃膫€(gè)角落、進(jìn)行透視變換。
提取矩形角落坐標(biāo)
矩形的檢測(cè)主要是提取邊緣，PPT顯示部分的亮度通常高于周圍環(huán)境，我們可以將圖片閾值化，將PPT部分與周圍環(huán)境明顯的分別開(kāi)來(lái)，這對(duì)后邊的邊緣檢測(cè)非常有幫助。
檢測(cè)矩形并提取坐標(biāo)需要對(duì)圖像進(jìn)行預(yù)處理、邊緣檢測(cè)、提取輪廓、檢測(cè)凸包、角點(diǎn)檢測(cè)。
預(yù)處理
由于手機(jī)拍攝的照片像素可能會(huì)很高，為了加快處理速度，我們首先縮小圖片，這里縮小了4倍。
pyrDown(srcPic, shrinkedPic); //減小尺寸 加快運(yùn)算速度 pyrDown(shrinkedPic, shrinkedPic);
轉(zhuǎn)化為灰度圖
cvtColor(shrinkedPic, greyPic, COLOR_BGR2GRAY); //轉(zhuǎn)化為灰度圖
中值濾波
medianBlur(greyPic, greyPic, 7); //中值濾波
轉(zhuǎn)為二值圖片
threshold(greyPic, binPic, 80, 255, THRESH_BINARY); //閾值化為二值圖片
此時(shí)圖片已經(jīng)變成了這個(gè)樣子：
可見(jiàn)PPT部分已經(jīng)與環(huán)境分離開(kāi)來(lái)。
邊緣檢測(cè)與輪廓處理
進(jìn)行Canny邊緣檢測(cè)
Canny(binPic, cannyPic, cannyThr, cannyThr*FACTOR); //Canny邊緣檢測(cè)
這里 cannyThr = 200, FACTOR = 2.5
可能由于邊緣特征過(guò)于明顯，系數(shù)在100-600范圍（具體數(shù)字可能有出入，反正范圍非常大）內(nèi)產(chǎn)生的效果幾乎相同。
提取輪廓
vector<vector<Point>> contours; //儲(chǔ)存輪廓 vector<Vec4i> hierarchy; findContours(cannyPic, contours, hierarchy, RETR_CCOMP, CHAIN_APPROX_SIMPLE); //獲取輪廓
findContour函數(shù)原型如下：
CV_EXPORTS_W void findContours( InputOutputArray image, OutputArrayOfArrays contours,
OutputArray hierarchy, int mode,
int method, Point offset = Point());
檢測(cè)到的輪廓都存在contours里，每個(gè)輪廓保存為一個(gè)vector<Point>
hierarchy為可選的輸出向量，包括圖像的拓?fù)湫畔ⅲ@里可以選擇不用。
我們可以反復(fù)調(diào)用drawContours函數(shù)將輪廓畫(huà)出
linePic = Mat::zeros(cannyPic.rows, cannyPic.cols, CV_8UC3);
for (int index = 0; index < contours.size(); index++){
drawContours(linePic, contours, index, Scalar(rand() & 255, rand() & 255, rand() & 255), 1, 8/*, hierarchy*/);
}
drawContours函數(shù)原型：
CV_EXPORTS_W void drawContours( InputOutputArray image, InputArrayOfArrays contours,
int contourIdx, const Scalar& color,
int thickness = 1, int lineType = LINE_8,
InputArray hierarchy = noArray(),
int maxLevel = INT_MAX, Point offset = Point() );
作用是將contours中的第contourIdx條輪廓用color顏色繪制到image中，thickness為線條的粗細(xì)， contourIdx為負(fù)數(shù)時(shí)畫(huà)出所有輪廓
這里要注意的是在繪制輪廓前要提前為輸出矩陣分配空間，否則會(huì)出現(xiàn)以下錯(cuò)誤
OpenCV(3.4.1) Error: Assertion failed (size.width>0 && size.height>0) in cv::imshow, file C:\build\master_winpack-build-win64-vc15\opencv\modules\highgui\src\window.cpp, line 356
提取面積最大的輪廓并用多邊形將輪廓包圍
從上面的輪廓圖中看出，PPT的矩形已經(jīng)成為了圖片的主要部分，接下來(lái)的思路是提取面積最大的輪廓，得到矩形輪廓。
vector<vector<Point>> polyContours(contours.size());
int maxArea = 0;
for (int index = 0; index < contours.size(); index++){
if (contourArea(contours[index]) > contourArea(contours[maxArea]))
maxArea = index;
approxPolyDP(contours[index], polyContours[index], 10, true);
}
contourArea用來(lái)計(jì)算輪廓的面積
approxPolyDP的作用是用多邊形包圍輪廓，可以得到嚴(yán)格的矩形，有助于找到角點(diǎn)
畫(huà)出矩形，同樣注意要提前為Mat分配空間
Mat polyPic = Mat::zeros(shrinkedPic.size(), CV_8UC3); drawContours(polyPic, polyContours, maxArea, Scalar(0,0,255/*rand() & 255, rand() & 255, rand() & 255*/), 2);
如圖，接下來(lái)我們只需提取到四個(gè)角的坐標(biāo)
尋找凸包
vector<int> hull; convexHull(polyContours[maxArea], hull, false); //檢測(cè)該輪廓的凸包
convexHull函數(shù)原型
CV_EXPORTS_W void convexHull( InputArray points, OutputArray hull,
bool clockwise = false, bool returnPoints = true );
hull為輸出參數(shù)， clockwise決定凸包順逆時(shí)針?lè)较颍?returnPoints為真時(shí)返回凸包的各個(gè)點(diǎn)，否則返回各點(diǎn)的指數(shù)
hull可以為vector<int>類型，此時(shí)返回的是凸包點(diǎn)在原圖中的下標(biāo)索引
我們可以把點(diǎn)和多邊形添加到原圖中查看效果
for (int i = 0; i < hull.size(); ++i){
circle(polyPic, polyContours[maxArea][i], 10, Scalar(rand() & 255, rand() & 255, rand() & 255), 3);
}
addWeighted(polyPic, 0.5, shrinkedPic, 0.5, 0, shrinkedPic);
現(xiàn)在我們已經(jīng)比較準(zhǔn)確地獲得了需要的點(diǎn)，下面就要利用這些點(diǎn)進(jìn)行坐標(biāo)映射。
投影變換
投影變換需要像素在兩個(gè)坐標(biāo)系中的坐標(biāo)一一對(duì)應(yīng)，雖然我們已經(jīng)有了四個(gè)坐標(biāo)，但還沒(méi)有區(qū)分它們的位置。
新建兩個(gè)數(shù)組
Point2f srcPoints[4], dstPoints[4]; dstPoints[0] = Point2f(0, 0); dstPoints[1] = Point2f(srcPic.cols, 0); dstPoints[2] = Point2f(srcPic.cols, srcPic.rows); dstPoints[3] = Point2f(0, srcPic.rows);
dstPoints儲(chǔ)存的是變換后各點(diǎn)的坐標(biāo)，依次為左上，右上，右下， 左下
srcPoints儲(chǔ)存的是上面得到的四個(gè)角的坐標(biāo)
下面對(duì)得到的四個(gè)點(diǎn)進(jìn)行處理
for (int i = 0; i < 4; i++){
polyContours[maxArea][i] = Point2f(polyContours[maxArea][i].x * 4, polyContours[maxArea][i].y * 4); //恢復(fù)坐標(biāo)到原圖
}
//對(duì)四個(gè)點(diǎn)進(jìn)行排序 分出左上 右上 右下 左下
bool sorted = false;
int n = 4;
while (!sorted){
for (int i = 1; i < n; i++){
sorted = true;
if (polyContours[maxArea][i-1].x > polyContours[maxArea][i].x){
swap(polyContours[maxArea][i-1], polyContours[maxArea][i]);
sorted = false;
}
}
n--;
}
if (polyContours[maxArea][0].y < polyContours[maxArea][1].y){
srcPoints[0] = polyContours[maxArea][0];
srcPoints[3] = polyContours[maxArea][1];
}
else{
srcPoints[0] = polyContours[maxArea][1];
srcPoints[3] = polyContours[maxArea][0];
}
if (polyContours[maxArea][9].y < polyContours[maxArea][10].y){
srcPoints[1] = polyContours[maxArea][2];
srcPoints[2] = polyContours[maxArea][3];
}
else{
srcPoints[1] = polyContours[maxArea][3];
srcPoints[2] = polyContours[maxArea][2];
}
即先對(duì)四個(gè)點(diǎn)的x坐標(biāo)進(jìn)行冒泡排序分出左右，再根據(jù)兩對(duì)坐標(biāo)的y值比較分出上下
（筆者試圖通過(guò)凸包的順逆時(shí)針順序以及凸包點(diǎn)與原點(diǎn)的距離來(lái)活得位置信息，卻均以失敗告終）
坐標(biāo)變換需要矩陣運(yùn)算，OpenCV中給我們提供了getPerspectiveTransform函數(shù)用來(lái)得到矩陣
Mat transMat = getPerspectiveTransform(srcPoints, dstPoints); //得到變換矩陣
接下來(lái)進(jìn)行坐標(biāo)變換，網(wǎng)上查到的步驟都是通過(guò)perspectiveTransform函數(shù)變換，但嘗試多次都出現(xiàn)了報(bào)錯(cuò)，Google了好長(zhǎng)時(shí)間才知道原來(lái)這個(gè)函數(shù)的傳入輸入輸出參數(shù)均為點(diǎn)集，我們這個(gè)場(chǎng)景用起來(lái)比較麻煩。
而warpPerspective函數(shù)可以直接傳入輸入Mat類型數(shù)據(jù)，比較方便
warpPerspective(srcPic, outPic, transMat, srcPic.size()); //進(jìn)行坐標(biāo)變換
參數(shù)分別為輸入輸出圖像、變換矩陣、大小。
坐標(biāo)變換后就得到了我們要的最終圖像。
總結(jié)
我們利用了屏幕亮度較高的特點(diǎn)，通過(guò)二值化突出輪廓提取坐標(biāo)，進(jìn)行透視變換。
但局限性在于，如果矩形的亮度與背景相差不大，就很難用這種方法檢測(cè)到輪廓。
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
對(duì)python中return與yield的區(qū)別詳解
這篇文章主要介紹了對(duì)python中return與yield的區(qū)別詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
如何將自己的python庫(kù)打包成wheel文件并上傳到pypi
這篇文章主要介紹了如何將自己的python庫(kù)打包成wheel文件并上傳到pypi，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
這篇文章主要為大家詳細(xì)介紹了微信小程序跳一跳自動(dòng)運(yùn)行腳本，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
這篇文章主要介紹了python中mpi4py的所有基礎(chǔ)使用,本文通過(guò)10個(gè)案例給大家詳細(xì)講解，結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下2022-08-08
這篇文章主要為大家分享十個(gè)Python經(jīng)典的小游戲代碼，非常適合Python初學(xué)者練手。文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以嘗試一下2022-05-05
Python實(shí)現(xiàn)操作Redis的高級(jí)用法分享
redis-py是Python操作Redis的第三方庫(kù)，它提供了與Redis服務(wù)器交互的API，本文為大家介紹了Python利用redis-py操作Redis的高級(jí)用法，需要的可以收藏一下2023-05-05
這篇文章主要介紹了python集合的創(chuàng)建、添加及刪除操作,結(jié)合實(shí)例形式分析了Python集合的概念、功能及針對(duì)集合的創(chuàng)建、添加與刪除等相關(guān)操作實(shí)現(xiàn)技巧,需要的朋友可以參考下2019-10-10
這篇文章主要給大家介紹了關(guān)于python中cv2模塊如何安裝的相關(guān)資料,CV2指的是OpenCV2(Open?Source?Computer?Vision?Library),是一個(gè)開(kāi)源的庫(kù)平臺(tái)計(jì)算機(jī)視覺(jué)庫(kù),有很強(qiáng)大的圖片處理功能,可實(shí)現(xiàn)圖像處理和計(jì)算機(jī)視覺(jué)方面的很多通用算法,需要的朋友可以參考下2023-10-10
python按照行來(lái)讀取txt文件全部?jī)?nèi)容(去除空行處理掉\t,\n后以列表方式返回)
這篇文章主要介紹了python按照行來(lái)讀取txt文件全部?jī)?nèi)容 ，去除空行，處理掉\t,\n后，以列表方式返回,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下2023-06-06
Python參數(shù)傳遞中雙星號(hào)(**)和單星號(hào)(*)是作用
雙星號(hào)(**)和單星號(hào)(*)在參數(shù)傳遞中扮演著關(guān)鍵角色,本文主要介紹了Python參數(shù)傳遞中雙星號(hào)(**)和單星號(hào)(*)是作用,具有一定的參考價(jià)值,感興趣的可以了解一下2024-05-05