import requests

login_url = 'https://example.com/login'
data_url = 'https://example.com/api/data'

payload = {
    'username': 'my_user',
    'password': 'my_pass'
}

# 嘗試1：直接登錄
resp = requests.post(login_url, data=payload)
print(resp.status_code)  # 輸出200，好像成功了？

# 嘗試用這個(gè)resp的cookies去訪問數(shù)據(jù)
cookies = resp.cookies
data_resp = requests.get(data_url, cookies=cookies)
print(data_resp.status_code)  # 輸出403！被拒絕了。

import requests

# 創(chuàng)建會(huì)話，這是所有操作的基礎(chǔ)
session = requests.Session()
# 可以設(shè)置一個(gè)通用的請求頭，更像瀏覽器
session.headers.update({
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
})

login_page_url = 'https://example.com/login'

# 第一次GET請求，獲取頁面和初始Cookie
login_page_response = session.get(login_page_url)
print(f"獲取登錄頁狀態(tài)碼: {login_page_response.status_code}")

# 這里假設(shè)token在HTML中一個(gè)name='csrfmiddlewaretoken'的input標(biāo)簽里
# 我們使用lxml來解析（需要安裝：pip install lxml）
from lxml import html

tree = html.fromstring(login_page_response.text)
# 嘗試通過input標(biāo)簽的name屬性獲取csrf token
# 注意：不同網(wǎng)站token的字段名和獲取方式可能不同，這里是常見情況
csrf_token = tree.xpath('//input[@name="csrfmiddlewaretoken"]/@value')
if csrf_token:
    csrf_token = csrf_token[0]
    print(f"成功提取CSRF Token: {csrf_token[:20]}...")  # 打印前20位
else:
    # 如果xpath沒找到，可能需要檢查網(wǎng)頁源碼，看看token藏在哪里
    # 也可能網(wǎng)站用了其他名稱，如`authenticity_token`, `_token`等
    print("警告：未找到CSRF Token，可能需要調(diào)整解析方式！")
    # 有時(shí)token可能在meta標(biāo)簽里：//meta[@name="csrf-token"]/@content

login_action_url = 'https://example.com/login'  # 通常和登錄頁是同一個(gè)URL
payload = {
    'username': 'your_username_here',
    'password': 'your_password_here',
    'csrfmiddlewaretoken': csrf_token,  # 關(guān)鍵：把上一步提取的token加進(jìn)去
    # 可能還有其他隱藏字段，如`next`(登錄后跳轉(zhuǎn)地址)
}

print("正在發(fā)起登錄POST請求...")
# 用session.post，它會(huì)自動(dòng)帶上GET登錄頁時(shí)獲得的Cookie
login_response = session.post(login_action_url, data=payload)

# 重要：檢查登錄是否真的成功
print(f"登錄POST請求狀態(tài)碼: {login_response.status_code}")
print(f"登錄后重定向歷史: {[r.status_code for r in login_response.history]}")
print(f"最終URL: {login_response.url}")

# 訪問一個(gè)登錄后才能訪問的頁面，比如個(gè)人主頁或API接口
profile_url = 'https://example.com/dashboard'
profile_response = session.get(profile_url)

print(f"訪問個(gè)人頁狀態(tài)碼: {profile_response.status_code}")
if profile_response.status_code == 200:
    # 可以進(jìn)一步檢查返回內(nèi)容里是否有登錄用戶的特征信息
    if "歡迎回來" in profile_response.text or "Dashboard" in profile_response.text:
        print("? 登錄狀態(tài)驗(yàn)證成功！")
    else:
        print("??  狀態(tài)碼200，但內(nèi)容可能不對，需要檢查。")
else:
    print(f"? 訪問失敗，狀態(tài)碼: {profile_response.status_code}，登錄可能未成功。")

# 最終訪問我們最初想要的數(shù)據(jù)接口
target_data_url = 'https://example.com/api/v1/tasks'
data_response = session.get(target_data_url)

if data_response.status_code == 200:
    data = data_response.json()  # 假設(shè)接口返回JSON
    print(f"成功獲取數(shù)據(jù)，共 {len(data)} 條記錄。")
    # ... 處理你的數(shù)據(jù)
else:
    print(f"獲取數(shù)據(jù)失敗: {data_response.status_code}")
    print(data_response.text)

import requests
from lxml import html
import time

class WebsiteLoginFetcher:
    """一個(gè)用于處理帶Cookie登錄的示例類"""

    def __init__(self, base_url):
        self.base_url = base_url.rstrip('/')
        self.session = requests.Session()
        # 設(shè)置一個(gè)像瀏覽器的請求頭
        self.session.headers.update({
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        })

    def get_csrf_token(self, login_page_url):
        """從登錄頁面HTML中提取CSRF Token"""
        print(f"[1] 正在獲取登錄頁面并提取Token: {login_page_url}")
        try:
            resp = self.session.get(login_page_url, timeout=10)
            resp.raise_for_status()  # 如果狀態(tài)碼不是200，拋出異常
        except requests.exceptions.RequestException as e:
            print(f"  獲取登錄頁失敗: {e}")
            return None

        # 使用lxml解析HTML
        tree = html.fromstring(resp.text)
        
        # 嘗試幾種常見的CSRF Token存放位置
        token = None
        # 方式1: 在input隱藏字段中
        token_elements = tree.xpath('//input[@name="csrfmiddlewaretoken"]/@value')
        if not token_elements:
            # 方式2: 其他常見名稱
            for name in ['csrf_token', '_token', 'authenticity_token', 'csrf']:
                token_elements = tree.xpath(f'//input[@name="{name}"]/@value')
                if token_elements:
                    break
        if not token_elements:
            # 方式3: 在meta標(biāo)簽中
            token_elements = tree.xpath('//meta[@name="csrf-token"]/@content')

        if token_elements:
            token = token_elements[0]
            print(f"  成功提取Token: {token[:30]}...")
        else:
            print("  警告：未能在頁面中找到CSRF Token?？赡苄枰謩?dòng)分析頁面結(jié)構(gòu)。")
            # 打印部分頁面源碼以便調(diào)試
            # print(resp.text[:2000])
        return token

    def login(self, login_url, username, password, extra_form_data=None):
        """執(zhí)行登錄操作"""
        print(f"[2] 正在執(zhí)行登錄...")
        # 1. 獲取Token
        csrf_token = self.get_csrf_token(login_url)
        if not csrf_token:
            print("  登錄中止：無法獲取CSRF Token。")
            return False

        # 2. 構(gòu)造登錄數(shù)據(jù)
        login_data = {
            'username': username,
            'password': password,
            'csrfmiddlewaretoken': csrf_token,  # 關(guān)鍵字段
        }
        if extra_form_data:
            login_data.update(extra_form_data)

        # 3. 發(fā)起登錄POST請求
        try:
            # 注意：有些網(wǎng)站登錄后不希望自動(dòng)重定向，可以設(shè)置`allow_redirects=False`先看看
            resp = self.session.post(login_url, data=login_data, timeout=15, allow_redirects=True)
        except requests.exceptions.RequestException as e:
            print(f"  登錄請求失敗: {e}")
            return False

        print(f"  登錄POST狀態(tài)碼: {resp.status_code}")
        print(f"  重定向歷史: {[h.status_code for h in resp.history]}")
        print(f"  最終URL: {resp.url}")

        # 4. 簡單判斷登錄是否成功
        # 條件1: 有重定向歷史（通常302）
        # 條件2: 最終URL不是登錄頁本身
        if resp.history and login_url not in resp.url:
            print("  ? 登錄流程看起來成功（發(fā)生了重定向）。")
            return True
        else:
            print("  ? 登錄可能失?。ㄎ窗l(fā)生預(yù)期重定向或仍停留在登錄頁）。")
            # 可以打印響應(yīng)內(nèi)容的前500字符幫助調(diào)試
            # print("響應(yīng)內(nèi)容預(yù)覽:", resp.text[:500])
            return False

    def fetch_protected_data(self, data_url):
        """使用已登錄的session訪問受保護(hù)的數(shù)據(jù)"""
        print(f"[3] 正在訪問受保護(hù)數(shù)據(jù): {data_url}")
        try:
            resp = self.session.get(data_url, timeout=10)
            print(f"  數(shù)據(jù)請求狀態(tài)碼: {resp.status_code}")
            if resp.status_code == 200:
                return resp.text  # 或者 resp.json()
            else:
                print(f"  請求失敗，響應(yīng)內(nèi)容: {resp.text[:200]}")
                return None
        except requests.exceptions.RequestException as e:
            print(f"  數(shù)據(jù)請求異常: {e}")
            return None

# ========== 使用示例 ==========
if __name__ == '__main__':
    # ?。?！請?zhí)鎿Q為你的實(shí)際信息 ?。?！
    BASE_URL = 'https://example.com'  # 網(wǎng)站根地址
    LOGIN_PAGE_URL = f'{BASE_URL}/login'  # 登錄頁面地址
    USERNAME = 'your_username_here'
    PASSWORD = 'your_password_here'
    TARGET_DATA_URL = f'{BASE_URL}/api/some_data'  # 你想爬的數(shù)據(jù)地址

    fetcher = WebsiteLoginFetcher(BASE_URL)

    # 執(zhí)行登錄
    is_logged_in = fetcher.login(LOGIN_PAGE_URL, USERNAME, PASSWORD)
    
    if is_logged_in:
        print("\n登錄成功！開始獲取數(shù)據(jù)...")
        # 可以加個(gè)短暫延遲，避免請求過快
        time.sleep(1)
        data = fetcher.fetch_protected_data(TARGET_DATA_URL)
        if data:
            print("數(shù)據(jù)獲取成功！")
            # 這里處理你的數(shù)據(jù)，比如解析JSON或HTML
            # print(data[:500]) # 打印前500字符看看
        else:
            print("數(shù)據(jù)獲取失敗。")
    else:
        print("\n登錄失敗，請檢查賬號(hào)、密碼、網(wǎng)絡(luò)或網(wǎng)站結(jié)構(gòu)是否變化。")