Python和OpenCV進(jìn)行多尺度模板匹配實(shí)現(xiàn)

更新時(shí)間：2021年09月10日 10:27:19 作者：程序媛一枚~

本文將實(shí)現(xiàn)如何將標(biāo)準(zhǔn)模板匹配擴(kuò)展到多尺度，使其可以處理模板和輸入圖像大小不同的匹配。具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

1. 效果圖

模板匹配問題：對(duì)于模板和圖像中不一致的情況，會(huì)發(fā)生錯(cuò)誤檢測(cè)。

如下圖左側(cè)模板小，右側(cè)圖像中大，雖然完全一致，只是大小不一樣，卻未被檢測(cè)到。

在這里插入圖片描述

優(yōu)化：多尺度模板匹配，對(duì)于模板和圖像中有平移和縮放的情況可以完美工作。
如下圖：

在這里插入圖片描述

多尺度模板匹配，gif 詳細(xì)效果圖：

在這里插入圖片描述

2. 原理

使用cv2.matchTemplate進(jìn)行模板匹配，不是很健壯。當(dāng)模板的尺寸與檢測(cè)圖像上的尺寸不匹配時(shí)，將面臨錯(cuò)誤檢測(cè)。
模板匹配具有平移不變性。通過擴(kuò)展可以使其對(duì)伸縮性（即大?。┑淖兓咏?。
多尺度模板匹配可以處理平移和縮放中的變化，但對(duì)旋轉(zhuǎn)或非仿射變換的變化不具有魯棒性。
對(duì)于非仿射變換上的旋轉(zhuǎn)，可使用檢測(cè)關(guān)鍵點(diǎn)，提取局部不變描述符，并應(yīng)用關(guān)鍵點(diǎn)匹配（keypoint matching）。
如果模板相當(dāng)嚴(yán)格且邊緣映射良好，只關(guān)心平移和縮放，那么多尺度模板匹配可以提供非常好的結(jié)果；
使用邊緣映射而不是原始圖像進(jìn)行模板匹配可以大大提高模板匹配的精度。

模板匹配不能很好地說明一個(gè)對(duì)象是否沒有出現(xiàn)在圖像中。 可以通過設(shè)置相關(guān)系數(shù)的閾值，但實(shí)際上是不可靠和穩(wěn)健的。優(yōu)化：更健壯的方法——關(guān)鍵點(diǎn)匹配。

3. 步驟

1）在每次迭代中，圖像都會(huì)被調(diào)整大小并計(jì)算Canny邊緣圖；
2）應(yīng)用模板匹配，找到相關(guān)系數(shù)最大的圖像的邊界框（x，y）坐標(biāo)；
3）最后，將這些值存儲(chǔ)在簿記變量中；
4）在算法的最后，找到所有尺度上相關(guān)系數(shù)響應(yīng)最大的區(qū)域的（x，y）-坐標(biāo)，然后繪制邊界框；

4. 源碼

# USAGE
# python match.py --template cod_logo.png --images images
# USAGE2 了解實(shí)際檢測(cè)原理及細(xì)節(jié)
# python match.py --template cod_logo.png --images images --visualize 1

# 導(dǎo)入必要的包
import argparse  # argparse解析命令行參數(shù)
import glob  # 獲取輸入圖像的路徑

import cv2  # opencv綁定
import imutils  # 圖像處理的一些方法
import numpy as np  # numpy進(jìn)行數(shù)值處理

# 構(gòu)建命令行及解析參數(shù)
# --template 模板路徑
# --images 原始圖像路徑
# --visualize 標(biāo)志是否顯示每一個(gè)迭代的可視化結(jié)果
ap = argparse.ArgumentParser()
ap.add_argument("-t", "--template", required=True, help="Path to template image")
ap.add_argument("-i", "--images", required=True,
                help="Path to images where template will be matched")
ap.add_argument("-v", "--visualize",
                help="Flag indicating whether or not to visualize each iteration")
args = vars(ap.parse_args())

# 加載模板圖像，轉(zhuǎn)換灰度圖，檢測(cè)邊緣
# 使用邊緣而不是原始圖像進(jìn)行模板匹配可以大大提高模板匹配的精度。
template = cv2.imread(args["template"])
template = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
template = cv2.Canny(template, 50, 200)
(tH, tW) = template.shape[:2]
cv2.imshow("Template", template)

# 遍歷圖像以匹配模板
for imagePath in glob.glob(args["images"] + "/*.jpg"):

    # 加載圖像，轉(zhuǎn)換為灰度圖，初始化用于追蹤匹配區(qū)域的簿記變量
    image = cv2.imread(imagePath)
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    found = None

    # 遍歷圖像尺寸
    for scale in np.linspace(0.2, 1.0, 20)[::-1]:
        # 根據(jù)scale比例縮放圖像，并保持其寬高比
        resized = imutils.resize(gray, width=int(gray.shape[1] * scale))
        r = gray.shape[1] / float(resized.shape[1])

        # 縮放到圖像比模板小，則終止
        if resized.shape[0] < tH or resized.shape[1] < tW:
            break

        # 在縮放后的灰度圖中檢測(cè)邊緣，進(jìn)行模板匹配
        # 使用與模板圖像完全相同的參數(shù)計(jì)算圖像的Canny邊緣表示；
        # 使用cv2.matchTemplate應(yīng)用模板匹配；
        # cv2.minMaxLoc獲取相關(guān)結(jié)果并返回一個(gè)4元組，其中分別包含最小相關(guān)值、最大相關(guān)值、最小值的（x，y）坐標(biāo)和最大值的（x，y）坐標(biāo)。我們只對(duì)最大值和（x，y）-坐標(biāo)感興趣，所以只保留最大值而丟棄最小值。
        edged = cv2.Canny(resized, 50, 200)
        result = cv2.matchTemplate(edged, template, cv2.TM_CCOEFF)
        (_, maxVal, _, maxLoc) = cv2.minMaxLoc(result)

        # 檢查是否可視化
        if args.get("visualize", False):
            # 在檢測(cè)到的區(qū)域繪制邊界框
            clone = np.dstack([edged, edged, edged])
            cv2.rectangle(clone, (maxLoc[0], maxLoc[1]),
                          (maxLoc[0] + tW, maxLoc[1] + tH), (0, 0, 255), 2)
            cv2.imshow("Visualize", clone)
            cv2.waitKey(0)

        # 如果我們找到了一個(gè)新的最大校正值，更新簿記變量值
        if found is None or maxVal > found[0]:
            found = (maxVal, maxLoc, r)

    # 解包簿記變量并基于調(diào)整大小的比率，計(jì)算邊界框（x，y）坐標(biāo)
    (_, maxLoc, r) = found
    (startX, startY) = (int(maxLoc[0] * r), int(maxLoc[1] * r))
    (endX, endY) = (int((maxLoc[0] + tW) * r), int((maxLoc[1] + tH) * r))

    # 在檢測(cè)結(jié)果上繪制邊界框并展示圖像
    cv2.rectangle(image, (startX, startY), (endX, endY), (0, 0, 255), 2)
    cv2.imshow("Image", image)
    cv2.waitKey(0)