python如何查找圖片按鈕的坐標位置

更新時間：2022年11月29日 17:26:02 作者：孤芳不自賞

這篇文章主要介紹了python如何查找圖片按鈕的坐標位置，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

python查找圖片按鈕的坐標位置

因為業(yè)務需求，了解到一些python自動化的內(nèi)容，其中有類似于airtest截圖點擊的東西。

本來是想使用pyautogui來實現(xiàn)獲取圖片坐標的功能，但是pyautogui對于小尺寸的圖片識別不準確，或者說是識別不到，一番查找之下，發(fā)現(xiàn)另一個工具，做了封裝如下。

1，使用pyaut

x, y=pyautogui.locateCenterOnScreen("img_path")
# 如果查找到值，會返回坐標的元組，找不到返回None。上面的寫法會報錯
print(x, y)
pyautogui.click(x,y)
# 點擊操作

2，使用aircv

def matchImg(imgobj,confidence=0.7):
	"""
		imgobj:待查找的圖片
		confidence:最低相似度
	"""
	# 截取桌面操作，寫入內(nèi)存中，不必每次都保存實體圖片
    screenshotIm = screenshot(region=None)
    desktop = np.array(screenshotIm)
    imobj = ac.imread(imgobj)
 
   return ac.find_template(desktop ,imobj,confidence)  
if __name__ == "__main__":
    imgobj = 'img_path'
    print(matchImg(imgsrc,imgobj,confidencevalue))

返回值包含桌面大小，中心點，和待查詢圖片的四角坐標。否則為None

讀取圖片區(qū)域坐標的方法記錄

首先是導入需要使用的庫：

import cv2
import time
import win32gui, win32ui, win32con
import os

1、然后是獲取需要的圖片或者無需獲取，已有圖片。（可通過直接截取圖片）

'''1、窗口截圖，直接獲取當前最前面的全屏幕截圖'''
def window_capture(filename,w=1920,h=1080):
    hwnd = 0  # 窗口的編號，0號表示當前活躍窗口
    # 根據(jù)窗口句柄獲取窗口的設備上下文DC（Divice Context）
    hwndDC = win32gui.GetWindowDC(hwnd)
    # 根據(jù)窗口的DC獲取mfcDC
    mfcDC = win32ui.CreateDCFromHandle(hwndDC)
    # mfcDC創(chuàng)建可兼容的DC
    saveDC = mfcDC.CreateCompatibleDC()
    # 創(chuàng)建bigmap準備保存圖片
    saveBitMap = win32ui.CreateBitmap()
    # 為bitmap開辟空間
    saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
    # 高度saveDC，將截圖保存到saveBitmap中
    saveDC.SelectObject(saveBitMap)
    # 截取從左上角（0，0）長寬為（w，h）的圖片
    saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
    saveBitMap.SaveBitmapFile(saveDC, filename)
    return True

2、將獲取的圖片路徑，傳遞給識別圖片坐標的函數(shù)。

g_rectangle = [0, 0, 0, 0] #設置初始值坐標
clicked = False
g_startPoint = [0, 0]     #設置初始值獲取的坐標
def startRoi(path):
    cv2.namedWindow("IMG_Show", 0)            # 創(chuàng)建畫布
    cv2.resizeWindow("IMG_Show", 1920, 1080)  # 設置長和寬
    cv2.setMouseCallback("IMG_Show", onMouse) # 連接鼠標
    # 按"Esc"退出
    print("如果想要退出窗口，點擊按鈕 ESC,退出窗口...")
    while cv2.waitKey(30) != 27:             #監(jiān)聽事件
        global frame
        frame = cv2.imread(path,cv2.IMREAD_COLOR)  #讀取圖片數(shù)據(jù)
        # 畫矩形
        '''
        由（x_min，x_max）組成，為繪制的邊框的左上角；
        (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):設置為繪制的邊框的左上角和繪制的邊框的右下角
        (0, 0, 255):指定邊框的顏色，由（B,G,R）組成，當為（255,0，0）時為綠色，可以自由設定；
        1:線條的粗細值，為正值時代表線條的粗細（以像素為單位）
        '''
        cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
        cv2.imshow("IMG_Show", frame)
    # cv2.destroyWindow("IMG_Show")

'''
event:當前發(fā)生的鼠標事件類型
x和y:發(fā)生鼠標事件時鼠標在圖像位置的x，y坐標
flags:  cv2_EVENT_FLAG_* (MouseEventFlags)類型的變量
param: 自定義的傳遞給 setMouseCallback 函數(shù)調(diào)用的參數(shù)
'''
# x和y： 發(fā)生鼠標事件時鼠標在圖像位置的x，y坐標
def onMouse(event, x, y, flags, param):
    global clicked
    global g_rectangle
    global g_startPoint

    if event == cv2.EVENT_MOUSEMOVE:  # 滑動
        if clicked == True:
            #當鼠標點擊時，打印一下信息
            g_rectangle[0] = g_startPoint[0]
            g_rectangle[1] = g_startPoint[1]
            #實時獲取，對應變化后的x，y坐標
            g_rectangle[2] =  x
            g_rectangle[3] =  y
            print("坐標:%s" % g_rectangle)
    # 左鍵按下事件
    if event == cv2.EVENT_LBUTTONDOWN: # 左鍵點擊
        #獲取鼠標第一時間點擊的坐標
        g_startPoint[0] = x
        g_startPoint[1] = y
        clicked = True
    # 左鍵彈起事件
    if event == cv2.EVENT_LBUTTONUP:   # 左鍵放開
        print("====================選中框的坐標：===========================")
        print("矩形框左上角坐標：")
        print(g_rectangle[0], g_rectangle[1])
        print("矩形框右下角坐標：")
        print(g_rectangle[2], g_rectangle[3])
        print("矩形框?qū)挾龋?)
        print(g_rectangle[2]-g_rectangle[0])
        print("矩形框高度：")
        print(g_rectangle[3]-g_rectangle[1])
        clicked = False

3、通過畫布顯示，在上面可以進行畫框，自動識別出圖片區(qū)域的坐標。（如下圖）

4、全部代碼展示：

'''
讀取圖片的坐標
'''
import cv2
import time
import win32gui, win32ui, win32con
import os

'''1、窗口截圖'''
def window_capture(filename,w=1920,h=1080):
    hwnd = 0  # 窗口的編號，0號表示當前活躍窗口
    # 根據(jù)窗口句柄獲取窗口的設備上下文DC（Divice Context）
    hwndDC = win32gui.GetWindowDC(hwnd)
    # 根據(jù)窗口的DC獲取mfcDC
    mfcDC = win32ui.CreateDCFromHandle(hwndDC)
    # mfcDC創(chuàng)建可兼容的DC
    saveDC = mfcDC.CreateCompatibleDC()
    # 創(chuàng)建bigmap準備保存圖片
    saveBitMap = win32ui.CreateBitmap()
    # 為bitmap開辟空間
    saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
    # 高度saveDC，將截圖保存到saveBitmap中
    saveDC.SelectObject(saveBitMap)
    # 截取從左上角（0，0）長寬為（w，h）的圖片
    saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
    saveBitMap.SaveBitmapFile(saveDC, filename)
    return True


g_rectangle = [0, 0, 0, 0] #設置初始值坐標
clicked = False
g_startPoint = [0, 0]
def startRoi(path):
    cv2.namedWindow("IMG_Show", 0)            # 創(chuàng)建畫布
    cv2.resizeWindow("IMG_Show", 1920, 1080)  # 設置長和寬
    cv2.setMouseCallback("IMG_Show", onMouse) # 連接鼠標
    # 按"Esc"退出
    print("如果想要退出窗口，點擊按鈕 ESC,退出窗口...")
    while cv2.waitKey(30) != 27:             #監(jiān)聽事件
        global frame
        frame = cv2.imread(path,cv2.IMREAD_COLOR)  #讀取圖片數(shù)據(jù)
        # 畫矩形
        '''
        由（x_min，x_max）組成，為繪制的邊框的左上角；
        (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):設置為繪制的邊框的左上角和繪制的邊框的右下角
        (0, 0, 255):指定邊框的顏色，由（B,G,R）組成，當為（255,0，0）時為綠色，可以自由設定；
        1:線條的粗細值，為正值時代表線條的粗細（以像素為單位）
        '''
        cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
        cv2.imshow("IMG_Show", frame)
    # cv2.destroyWindow("IMG_Show")

'''
event:當前發(fā)生的鼠標事件類型
x和y:發(fā)生鼠標事件時鼠標在圖像位置的x，y坐標
flags:  cv2_EVENT_FLAG_* (MouseEventFlags)類型的變量
param: 自定義的傳遞給 setMouseCallback 函數(shù)調(diào)用的參數(shù)
'''
# x和y： 發(fā)生鼠標事件時鼠標在圖像位置的x，y坐標
def onMouse(event, x, y, flags, param):
    global clicked
    global g_rectangle
    global g_startPoint

    if event == cv2.EVENT_MOUSEMOVE:  # 滑動
        if clicked == True:
            #當鼠標點擊時，打印一下信息
            g_rectangle[0] = g_startPoint[0]
            g_rectangle[1] = g_startPoint[1]
            #實時獲取，對應變化后的x，y坐標
            g_rectangle[2] =  x
            g_rectangle[3] =  y
            print("坐標:%s" % g_rectangle)
    # 左鍵按下事件
    if event == cv2.EVENT_LBUTTONDOWN: # 左鍵點擊
        #獲取鼠標第一時間點擊的坐標
        g_startPoint[0] = x
        g_startPoint[1] = y
        clicked = True
    # 左鍵彈起事件
    if event == cv2.EVENT_LBUTTONUP:   # 左鍵放開
        print("====================選中框的坐標：===========================")
        print("矩形框左上角坐標：")
        print(g_rectangle[0], g_rectangle[1])
        print("矩形框右下角坐標：")
        print(g_rectangle[2], g_rectangle[3])
        print("矩形框?qū)挾龋?)
        print(g_rectangle[2]-g_rectangle[0])
        print("矩形框高度：")
        print(g_rectangle[3]-g_rectangle[1])
        clicked = False

if __name__ == '__main__':
    path = r"./save_img/jietu.jpg"
    if not os.path.isdir:
        os.mkdir(path)
    ret =  window_capture(filename=path)
    time.sleep(0.2)
    if ret == True:
        startRoi(path)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: