一、引言：為什么要學習 pywinauto

在 Windows 桌面應用開發(fā)與測試中，我們經(jīng)常需要 自動化地操作圖形界面 —— 例如：

• 自動點擊按鈕、輸入文本；
• 批量處理文件；
• 自動測試 GUI 程序；
• 操作 Excel、記事本、QQ、微信等桌面軟件。

這類任務如果用傳統(tǒng)方式，需要借助鼠標鍵盤模擬庫（如 pyautogui）或低層 Windows API，非常繁瑣。而 pywinauto 作為一款專門面向 Windows GUI 自動化的 Python 庫，可以像人一樣“看懂”界面結(jié)構(gòu)，精準控制窗口、按鈕、菜單、文本框等控件。

它的最大特點是：

“能識別控件，而不是盲目點坐標。”

這意味著，它能像自動化測試框架一樣理解界面語義，進行穩(wěn)定的自動化操作，而不依賴屏幕分辨率或窗口位置。

二、pywinauto 簡介與安裝

1. 安裝方式

pywinauto 可以直接通過 pip 安裝：

pip install pywinauto

如需更穩(wěn)定的版本（常用于企業(yè)環(huán)境）：

pip install pywinauto==0.6.8

2. 支持平臺

? Windows 7 及以上系統(tǒng)

? macOS / Linux 不支持（因依賴 Win32 API）

? 支持 32 位和 64 位程序自動化

3. 主要依賴

pywinauto 主要基于以下模塊實現(xiàn)：

• win32api, win32gui, ctypes：與系統(tǒng)交互；
• UIAutomationCore.dll：用于獲取界面元素；
• comtypes：COM 接口支持。

三、核心原理與體系結(jié)構(gòu)

pywinauto 提供了兩種“后端”機制，用于不同類型的 Windows 程序：

在創(chuàng)建 Application 對象時可以指定后端：

from pywinauto import Application

app = Application(backend='uia').start('notepad.exe')

四、入門實戰(zhàn)：控制記事本

1. 啟動應用

from pywinauto import Application

app = Application(backend='uia').start('notepad.exe')

2. 連接已運行的應用

如果應用已啟動，可以用 connect() 方法：

app = Application(backend='uia').connect(title_re=".*記事本")

3. 獲取主窗口

dlg = app.window(title_re=".*記事本")
dlg.wait('visible')

五、基本操作：輸入、點擊、菜單選擇

1. 輸入文本

dlg.type_keys("Hello, pywinauto!{ENTER}")

支持特殊按鍵，例如：

2. 菜單操作

dlg.menu_select("文件->另存為")

menu_select 支持中文菜單和多級菜單選擇，非常適合批量文件操作自動化。

3. 控件識別與點擊

dlg.child_window(title="幫助", control_type="MenuItem").click_input()

child_window() 可根據(jù)控件屬性（標題、類型、類名、自動化ID等）查找指定組件。

六、高級用法：窗口與控件操作

1. 獲取窗口所有控件

dlg.print_control_identifiers()

輸出示例：

Control Identifiers:
Dialog - '無標題 - 記事本'
   | 
   | Edit - ''
   | Button - '幫助'

這能幫助你快速找到控件的唯一標識。

2. 選擇控件方式

常見的控件定位方法包括：

dlg.Edit.type_keys("Hello World")
dlg.child_window(auto_id="15", control_type="Edit").set_text("輸入文字")

3. 點擊按鈕 / 勾選復選框

dlg.Button.click_input()
dlg.CheckBox.check()
dlg.RadioButton.select()

4. 拖動窗口

dlg.move_window(x=100, y=100, width=800, height=600, repaint=True)

七、自動化測試實戰(zhàn)案例

案例一：自動化操作記事本并保存文件

from pywinauto import Application
import time

app = Application(backend='uia').start('notepad.exe')
dlg = app.window(title_re=".*記事本")

dlg.type_keys("Hello, this is pywinauto test!", with_spaces=True)
dlg.menu_select("文件->另存為")

save_dlg = app.window(title_re="另存為")
save_dlg.child_window(auto_id="1001", control_type="Edit").set_text("C:\\Users\\Public\\test.txt")
save_dlg.child_window(title="保存", control_type="Button").click_input()

time.sleep(1)
dlg.close()

這一段腳本可實現(xiàn)：

啟動記事本 → 輸入內(nèi)容 → 保存到指定路徑 → 關(guān)閉。

案例二：自動化 Excel 操作

from pywinauto import Application

app = Application(backend='uia').start(r'C:\Program Files\Microsoft Office\root\Office16\EXCEL.EXE')
dlg = app.window(title_re=".*Excel")

dlg.type_keys("hello world{ENTER}123{ENTER}456")
dlg.menu_select("文件->另存為")

save_dlg = app.window(title_re="另存為")
save_dlg.child_window(auto_id="1001", control_type="Edit").set_text(r"C:\Users\Public\data.xlsx")
save_dlg.child_window(title="保存", control_type="Button").click_input()

案例三：自動化 GUI 測試（驗證按鈕響應）

from pywinauto import Application
import time

app = Application(backend='win32').start(r'C:\path\to\your\app.exe')
dlg = app.window(title="登錄窗口")

dlg.Edit1.set_text("admin")
dlg.Edit2.set_text("password123")
dlg.Button1.click()

time.sleep(1)
assert dlg.child_window(title="歡迎", control_type="Text").exists(), "登錄失敗"

這種寫法常用于自動化測試場景，可結(jié)合 pytest 或 CI/CD 系統(tǒng)實現(xiàn)自動驗證。

八、進階技巧與調(diào)試方法

1. 捕獲控件屬性

可以查看窗口樹結(jié)構(gòu)：

dlg.dump_tree()

或用 Inspect.exe 工具（微軟提供）分析控件屬性，確定 title, auto_id, class_name 等參數(shù)。

2. 控制隱藏窗口或后臺窗口

dlg.set_focus()
dlg.minimize()
dlg.restore()

3. 輸入速度控制

可調(diào)節(jié)打字速度：

dlg.type_keys("Auto typing...", pause=0.05)

4. 日志調(diào)試模式

from pywinauto import timings
timings.after_clickinput_wait = 1

在調(diào)試腳本時，加入延時可以避免界面未響應造成的異常。

九、內(nèi)部原理剖析

1. Win32 后端機制

在 backend='win32' 模式下，pywinauto 通過 Windows 的 SendMessage、PostMessage 等 API 向窗口發(fā)送命令。例如：

• WM_SETTEXT → 設(shè)置文本；
• WM_COMMAND → 模擬點擊按鈕；
• WM_KEYDOWN / WM_KEYUP → 模擬鍵盤輸入。

優(yōu)點：速度快，兼容舊程序。

缺點：不支持現(xiàn)代 UI（UWP）。

2. UIA 后端機制

UIA 模式使用微軟的 UI Automation 框架，通過 COM 接口訪問控件屬性。

其核心類包括：

• UIAWrapper
• UIAElementInfo
• IUIAutomationElement

該模式能訪問復雜控件，如 Office Ribbon、Edge 瀏覽器、VSCode 等。

十、pywinauto 與其他自動化庫對比

在 Windows 自動化測試與企業(yè)應用開發(fā)中，pywinauto 通常是首選。

十一、性能與穩(wěn)定性優(yōu)化

1. 延遲等待機制

pywinauto 內(nèi)置智能等待系統(tǒng)：

dlg.wait('exists', timeout=10)

這樣可在窗口加載時自動等待，避免找不到控件報錯。

2. 異常處理建議

from pywinauto.findwindows import ElementNotFoundError

try:
    dlg.Button.click()
except ElementNotFoundError:
    print("控件不存在，跳過！")

3. 多線程與多窗口并行

可以創(chuàng)建多個 Application 實例控制多個程序：

notepad = Application().start("notepad.exe")
calc = Application().start("calc.exe")

十二、實戰(zhàn)項目：自動化批量截圖器

下面展示一個綜合應用案例：自動化打開文件夾內(nèi)所有圖片并截圖保存。

import os, time
from pywinauto import Application

folder = r"C:\Users\Public\Pictures"
save_to = r"C:\Users\Public\Screenshots"

app = Application(backend='uia').start('mspaint.exe')
dlg = app.window(title_re="畫圖")

for file in os.listdir(folder):
    if file.endswith('.jpg'):
        dlg.menu_select("文件->打開")
        open_dlg = app.window(title_re="打開")
        open_dlg.Edit.set_text(os.path.join(folder, file))
        open_dlg.打開.click_input()
        time.sleep(1)

        dlg.menu_select("文件->另存為->JPEG 圖片")
        save_dlg = app.window(title_re="另存為")
        save_dlg.Edit.set_text(os.path.join(save_to, file))
        save_dlg.保存.click_input()
        time.sleep(1)

該腳本自動批量處理圖片，展示了 pywinauto 的穩(wěn)定操作能力。

十三、安全性與限制

Windows UAC 彈窗無法直接操作（需管理員權(quán)限）。

UWP 應用（如 Microsoft Store App）部分控件未公開接口。

不支持遠程桌面環(huán)境下運行。

十四、結(jié)合其他技術(shù)的擴展方向

結(jié)合 keyboard / mouse：實現(xiàn)完整人機模擬。

結(jié)合 opencv：在找不到控件時，用圖像匹配補充。

結(jié)合 pytest：搭建自動化 GUI 測試框架。

結(jié)合日志分析：生成測試報告或性能分析。

十五、總結(jié)與展望

pywinauto 是 Python 在 Windows 平臺上最成熟的 GUI 自動化庫之一。

它不僅能精確操控界面元素，還能與測試框架、圖像識別、AI 自動化工具結(jié)合使用。

它的核心優(yōu)勢在于：

• 直接識別控件結(jié)構(gòu)，穩(wěn)定可靠；
• 支持現(xiàn)代 UI 框架（UIA）；
• 擁有豐富的調(diào)試與等待機制；
• 完全開源、企業(yè)可用。

在未來，隨著桌面與云端結(jié)合、RPA（機器人流程自動化）普及，pywinauto 將成為 Python 在 RPA 領(lǐng)域的關(guān)鍵組件之一。

到此這篇關(guān)于Python pywinauto實現(xiàn)Windows圖形界面自動化控制詳解的文章就介紹到這了,更多相關(guān)Python pywinauto自動化操作圖形界面內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論