c# Selenium爬取數(shù)據(jù)時防止webdriver封爬蟲的方法

更新時間：2021年01月14日 15:11:38 作者：UP技術控

這篇文章主要介紹了c# Selenium爬取數(shù)據(jù)時防止webdriver封爬蟲的方法，幫助大家更好的理解和使用c#，感興趣的朋友可以了解下

背景

大家在使用Selenium + Chromedriver爬取網(wǎng)站信息的時候，以為這樣就能做到不被網(wǎng)站的反爬蟲機制發(fā)現(xiàn)。但是實際上很多參數(shù)和實際瀏覽器還是不一樣的，只要網(wǎng)站進行判斷處理，就能輕輕松松識別你是否使用了Selenium + Chromedriver模擬瀏覽器。其中

window.navigator.webdriver

就是很重要的一個。

問題窺探

正常瀏覽器打開是這樣的

模擬器打開是這樣的

ChromeOptions options = null;
      IWebDriver driver = null;
      try
      {
        options = new ChromeOptions();
        options.AddArguments("--ignore-certificate-errors");
        options.AddArguments("--ignore-ssl-errors");

        // options.AddExcludedArgument("enable-automation");
        // options.AddAdditionalCapability("useAutomationExtension", false);

        var listCookie = CookieHelp.GetCookie();
        if (listCookie != null)
        {
          // options.AddArgument("headless");
        }

        // string ss = @"{ ""source"": ""Object.defineProperty(navigator, 'webdriver', { get: () => undefined})""}";
        //  options.AddUserProfilePreference("Page.addScriptToEvaluateOnNewDocument", new ssss() { source = " Object.defineProperty(navigator, 'webdriver', {  get: () => undefined }) " });

        ChromeDriverService service = ChromeDriverService.CreateDefaultService(System.Environment.CurrentDirectory);
        service.HideCommandPromptWindow = true;
        driver = new ChromeDriver(service, options, TimeSpan.FromSeconds(120));

        ////session.Page.AddScriptToEvaluateOnNewDocument(new OpenQA.Selenium.DevTools.Page.AddScriptToEvaluateOnNewDocumentCommandSettings()
        ////{
        ////  Source = @"Object.defineProperty(navigator, 'webdriver', { get: () => undefined })"
        ////}
        //// );

所以，如果網(wǎng)站通過js代碼獲取這個參數(shù)，返回值為undefined說明是正常的瀏覽器，返回true說明用的是Selenium模擬瀏覽器。

解決辦法

那么對于這種情況，在爬蟲開發(fā)的過程中如何防止這個參數(shù)告訴網(wǎng)站你在模擬瀏覽器呢？執(zhí)行對應的js,改掉它的值。

 IJavaScriptExecutor js = (IJavaScriptExecutor)driver;
 string returnjs = (string)js.ExecuteScript("Object.defineProperties(navigator, {webdriver:{get:()=>undefined}});");