快捷導(dǎo)航

openCV中meanshift算法查找目標(biāo)的實(shí)現(xiàn)

更新時(shí)間：2021年11月12日 12:02:40 作者：小白汐汐

本文主要介紹了openCV中meanshift算法查找目標(biāo)的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

一、簡(jiǎn)介

圖像直方圖的反向投影是一個(gè)概率分布圖，表示一個(gè)指定圖像片段出現(xiàn)在特定位置的概率。當(dāng)我們已知圖像中某個(gè)物體的大體位置時(shí)，可以通過(guò)概率分布圖找到物體在另一張圖像中的準(zhǔn)確位置。我們可以設(shè)定一個(gè)初始位置，在其周圍反復(fù)移動(dòng)來(lái)提高局部匹配概率，從而找到物體的準(zhǔn)確位置，這個(gè)實(shí)現(xiàn)過(guò)程叫做均值平移算法。

二、實(shí)現(xiàn)過(guò)程

因?yàn)槿宋锏拿娌刻卣飨鄬?duì)于其他位置更明顯，本次實(shí)驗(yàn)主要應(yīng)用于人物的面部識(shí)別。

1、設(shè)定感興趣的區(qū)域

感興趣區(qū)域的設(shè)定有兩種方式，一種是已知圖片人物臉部位置的像素坐標(biāo)，通過(guò)設(shè)定矩形框來(lái)定位到人物臉部位置，另一種是使用opencv自帶的selectROI函數(shù)，手動(dòng)框選自己感興趣的位置。

2、獲取臉部直方圖并做歸一化

設(shè)置一個(gè)ColorHistogram類增加一個(gè)獲取色調(diào)直方圖的函數(shù)getHueHistogram。此函數(shù)包含將圖像轉(zhuǎn)換成HSV色彩空間，屏蔽低飽和度的像素（可能用到，也可能用不到），計(jì)算圖像直方圖。

cv::Mat getHueHistogram(const cv::Mat &image2, int minSaturation = 0)
	{
		cv::Mat hist;
 
		//轉(zhuǎn)換成HSV色彩空間
		cv::Mat hsv;
		cv::cvtColor(image2, hsv, CV_BGR2HSV);
		//cv::imshow("hsv", hsv);
 
		//掩碼（可能用的到也可能用不到)
		cv::Mat mask;
		if (minSaturation > 0) {
			std::vector<cv::Mat>v;
			cv::split(hsv, v);  //將3個(gè)通道分割進(jìn)3幅圖像
 
			cv::threshold(v[1], mask, minSaturation, 255, cv::THRESH_BINARY);//屏蔽低飽和度的像素
		}
 
		//準(zhǔn)備一維色調(diào)直方圖的參數(shù)
		hranges[0] = 0.0;
		hranges[1] = 180.0;  //范圍是0~180
		channels[0] = 0;   //色調(diào)通道
 
		//計(jì)算直方圖
		cv::calcHist(&hsv, 1,   //僅為一幅圖像的直方圖
			channels,             //使用的通道
			mask,                 //二值掩碼
			hist,                 //作為結(jié)果的直方圖
			1,                    //這是一維的直方圖
			histSize,             //箱子數(shù)量
			ranges);              //像素值的范圍
		return hist;
	}

然后，對(duì)獲取的直方圖做歸一化。

void setHistogram(const cv::Mat& h) {
		histogram = h;
		cv::normalize(histogram, histogram, 1.0);
	}

3、反向投影，用meanshift查找目標(biāo)

打開第二張圖像，并將其轉(zhuǎn)換成HSV色彩空間（代碼中對(duì)輸入的圖像做了resize，避免有些圖像尺寸過(guò)大，顯示不全），然后對(duì)第一幅圖像的直方圖做反向投影。下面result是反向投影的結(jié)果，目前是框選了路飛的臉部作為感興趣區(qū)域，如果框選路飛的帽子，反向投影會(huì)有不一樣的效果，大家可以自己嘗試。

//打開第二幅圖像，并轉(zhuǎn)換成HSV，對(duì)第一幅圖像的直方圖做反向投影
	image = cv::imread("lufei2.JPG");
	resize(image, image3, cv::Size(500, 700));
	cv::cvtColor(image3, hsv, CV_BGR2HSV); //轉(zhuǎn)換成HSV色彩空間
	int ch[1] = { 0 };
	cv::Mat result = finder.find(hsv, 0.0f, 180.0f, ch);

使用openCV的meanshift算法可以將初始矩形區(qū)域修改成圖像人物臉部的新位置。

cv::TermCriteria criteria(
		cv::TermCriteria::MAX_ITER | cv::TermCriteria::EPS,
		10, // 最多迭代10 次
		1); // 或者重心移動(dòng)距離小于1 個(gè)像素
	cv::meanShift(result, rect, criteria);

至此，就找到了另一張圖像中人物的臉部。

三、其他實(shí)驗(yàn)結(jié)果

除了進(jìn)行從單人圖像找另一個(gè)單人圖像的實(shí)驗(yàn)，還做了從單人圖像找多人合影的圖像，下面是對(duì)NBA球星做的一個(gè)實(shí)驗(yàn)。

四、部分原理補(bǔ)充

本實(shí)驗(yàn)為了突出感興趣目標(biāo)特征，使用了HSV色彩空間的色調(diào)分量，使用CV_BGR2HSV標(biāo)志轉(zhuǎn)換圖像后，得到的第一個(gè)通道就是色調(diào)分量。這是一個(gè)8位分量，值范圍為0~180（如果使用cv::cvtColor，轉(zhuǎn)換后的圖像與原始圖像的類型就會(huì)是相同的）。為了提取色調(diào)圖像，cv::split 函數(shù)把三通道的 HSV 圖像分割成三個(gè)單通道圖像。這三幅圖像存放在一個(gè) std::vector 實(shí)例中，并且色調(diào)圖像是向量的第一個(gè)入口（即索引為 0）。

在使用顏色的色調(diào)分量時(shí)，要把它的飽和度考慮在內(nèi)（飽和度是向量的第二個(gè)入口），當(dāng)顏色的飽和度很低時(shí)，它的色調(diào)信息就會(huì)變得不穩(wěn)定且不可靠。這是因?yàn)榈惋柡投阮伾?B、G 和 R 分量幾乎是相等的，這導(dǎo)致很難確定它所表示的準(zhǔn)確顏色。因此，在 getHueHistogram 方法中使用 minSat 參數(shù)屏蔽掉飽和度低于此閾值的像素，不把它們統(tǒng)計(jì)進(jìn)直方圖中。

均值偏移算法是一個(gè)迭代過(guò)程，用于定位概率函數(shù)的局部最大值，方法是尋找預(yù)定義窗口內(nèi)部數(shù)據(jù)點(diǎn)的重心或加權(quán)平均值。然后，把窗口移動(dòng)到重心的位置，并重復(fù)該過(guò)程，直到窗口中心收斂到一個(gè)穩(wěn)定的點(diǎn)。OpenCV 實(shí)現(xiàn)該算法時(shí)定義了兩個(gè)停止條件：迭代次數(shù)達(dá)到最大值（MAX_ITER）；窗口中心的偏移值小于某個(gè)限值（EPS），可認(rèn)為該位置收斂到一個(gè)穩(wěn)定點(diǎn)。這兩個(gè)條件存儲(chǔ)在一個(gè) cv::TermCriteria 實(shí)例中。

五、完整代碼

#include <iostream>
#include<Windows.h>
#include<opencv2/core.hpp>    //圖像數(shù)據(jù)結(jié)構(gòu)的核心
#include<opencv2/highgui.hpp> //所有圖形接口函數(shù)
#include<opencv2/imgproc.hpp>
#include <opencv2/imgproc/types_c.h>
#include<opencv2/imgproc/imgproc.hpp>
#include<opencv2/opencv.hpp>
 
using namespace std;
using namespace cv;
 
//獲得色調(diào)直方圖
class ColorHistogram
{
private:
	int histSize[3]; // 每個(gè)維度的大小
	float hranges[2]; // 值的范圍（三個(gè)維度用同一個(gè)值）
	const float* ranges[3]; // 每個(gè)維度的范圍
	int channels[3]; // 需要處理的通道
 
public:
	ColorHistogram() {
		// 準(zhǔn)備用于彩色圖像的默認(rèn)參數(shù)
		// 每個(gè)維度的大小和范圍是相等的
		histSize[0] = histSize[1] = histSize[2] = 256;
		hranges[0] = 0.0; // BGR 范圍為0~256
		hranges[1] = 256.0;
		ranges[0] = hranges; // 這個(gè)類中
		ranges[1] = hranges; // 所有通道的范圍都相等
		ranges[2] = hranges;
		channels[0] = 0; // 三個(gè)通道：B
		channels[1] = 1; // G
		channels[2] = 2; // R
	}
 
	//計(jì)算一維直方圖，BGR的原圖轉(zhuǎn)換成HSV，忽略低飽和度的像素
	cv::Mat getHueHistogram(const cv::Mat &image2, int minSaturation = 0)
	{
		cv::Mat hist;
 
		//轉(zhuǎn)換成HSV色彩空間
		cv::Mat hsv;
		cv::cvtColor(image2, hsv, CV_BGR2HSV);
		//cv::imshow("hsv", hsv);
 
		//掩碼（可能用的到也可能用不到)
		cv::Mat mask;
		if (minSaturation > 0) {
			std::vector<cv::Mat>v;
			cv::split(hsv, v);  //將3個(gè)通道分割進(jìn)3幅圖像
 
			cv::threshold(v[1], mask, minSaturation, 255, cv::THRESH_BINARY);//屏蔽低飽和度的像素
		}
 
		//準(zhǔn)備一維色調(diào)直方圖的參數(shù)
		hranges[0] = 0.0;
		hranges[1] = 180.0;  //范圍是0~180
		channels[0] = 0;   //色調(diào)通道
 
		//計(jì)算直方圖
		cv::calcHist(&hsv, 1,   //僅為一幅圖像的直方圖
			channels,             //使用的通道
			mask,                 //二值掩碼
			hist,                 //作為結(jié)果的直方圖
			1,                    //這是一維的直方圖
			histSize,             //箱子數(shù)量
			ranges);              //像素值的范圍
		return hist;
	}
 
};
 
class ContentFinder {
private:
	// 直方圖參數(shù)
	float hranges[2];
	const float* ranges[3];
	int channels[3];
	float threshold; // 判斷閾值
	cv::Mat histogram; // 輸入直方圖
public:
	ContentFinder() : threshold(0.1f) {
		// 本類中所有通道的范圍相同
		ranges[0] = hranges;
		ranges[1] = hranges;
		ranges[2] = hranges;
	}
	// 對(duì)直方圖做歸一化
	void setHistogram(const cv::Mat& h) {
		histogram = h;
		cv::normalize(histogram, histogram, 1.0);
	}
 
	// 查找屬于直方圖的像素
	cv::Mat find(const cv::Mat& image, float minValue, float maxValue,
		int *channels) {
		cv::Mat result;
		hranges[0] = minValue;
		hranges[1] = maxValue;
		// 直方圖的維度數(shù)與通道列表一致
		for (int i = 0; i < histogram.dims; i++)
			this->channels[i] = channels[i];
		cv::calcBackProject(&image, 1, // 只使用一幅圖像
			channels, // 通道
			histogram, // 直方圖
			result, // 反向投影的圖像
			ranges, // 每個(gè)維度的值范圍
			255.0 // 選用的換算系數(shù)
			// 把概率值從1 映射到255
		);
		cv::imshow("result", result);
		return result;
	}
};
 
int main()
{
	/************均值檢測(cè)meanshift***********/
	cv::Mat image = cv::imread("ZMS1.jpg");
	cv::Mat image2;
	cv::Mat image3;
	cv::Mat hsv;
	resize(image, image2, cv::Size(500, 700));
 
	cv::Rect rect;
	rect = cv::selectROI("image", image2, false, false);
	cv::Mat imageROI = image2(rect).clone();//手動(dòng)框選
 
	/*cv::Rect rect(227, 108, 108, 104);
	cv::Mat imageROI = image2(rect);*///手動(dòng)設(shè)置矩形框選范圍
 
	cv::rectangle(image2, rect, cv::Scalar(255, 0, 0), 1, cv::LINE_8, 0);
 
	cv::imshow("image2", image2);
	//得到人臉直方圖
	int minsat = 65;  //最小飽和度
	ColorHistogram hc;
	cv::Mat colorhist = hc.getHueHistogram(imageROI, minsat);
	
	//把直方圖傳給ContentFinder類
	ContentFinder finder;
	finder.setHistogram(colorhist);//對(duì)直方圖做歸一化
 
	//打開第二幅圖像，并轉(zhuǎn)換成HSV，對(duì)第一幅圖像的直方圖做反向投影
	image = cv::imread("ZMS2.JPG");
	resize(image, image3, cv::Size(500, 700));
	cv::cvtColor(image3, hsv, CV_BGR2HSV); //轉(zhuǎn)換成HSV色彩空間
	int ch[1] = { 0 };
	cv::Mat result = finder.find(hsv, 0.0f, 180.0f, ch);
 
	cv::TermCriteria criteria(
		cv::TermCriteria::MAX_ITER | cv::TermCriteria::EPS,
		10, // 最多迭代10 次
		1); // 或者重心移動(dòng)距離小于1 個(gè)像素
	cv::meanShift(result, rect, criteria);
	cv::rectangle(image3, rect, cv::Scalar(0, 255, 0), 1, cv::LINE_8, 0);
	cv::imshow("image3", image3);
	waitKey(0);
}

到此這篇關(guān)于openCV中meanshift算法查找目標(biāo)的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)openCV meanshift查找目標(biāo)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: