php采集時被封ip的解決方法
更新時間：2010年08月29日 14:48:23 作者：
最近各種網(wǎng)站的采集程序?qū)懙谋容^多，遇到在采某網(wǎng)站時采到100多條時突然發(fā)現(xiàn)對方的網(wǎng)站打不開了，猜到肯定被封ip了，用了代理還是會封，這不是辦法。
在網(wǎng)上找了一些資料都沒有找到，功夫不負有心人啊，在找的時侯有一個人提到了用搜索引擎爬蟲蜘蛛的USERAGENT。雖然只提到一點點我還是想到了，列出我的解決方法,
1.使用Snoopy或curl傳搜索引擎爬蟲的USERAGENT值。
查看搜索引擎爬蟲的USERAGENT值：http://www.fzitv.net/yunying/29357.html
2.使用Snoopy或curl傳referer值。
如：$snoopy->referer = 'http://www.google.com';
$header[] = "Referer: http://www.google.com/";
3.使用Snoopy或curl代理。
如：$snoopy->proxy_host = "59.108.44.41";
$snoopy->proxy_port = "3128";
4.使用Snoopy或curl防造IP。
如：$snoopy->rawheaders['X_FORWARDED_FOR'] = '127.0.0.1';
5.用php與一個重起路由的程序，這樣就會獲得新的ip地址。
6.如果發(fā)現(xiàn)重起路由還是顯示被封，有可能對方封了你的mac地址，現(xiàn)在路由器都有偽造MAC的功能，可以寫程序或手動修改路由器的MAC地址，網(wǎng)上也有專門修改網(wǎng)卡mac地址的工具。
1.使用Snoopy或curl傳搜索引擎爬蟲的USERAGENT值。
查看搜索引擎爬蟲的USERAGENT值：http://www.fzitv.net/yunying/29357.html
2.使用Snoopy或curl傳referer值。
如：$snoopy->referer = 'http://www.google.com';
$header[] = "Referer: http://www.google.com/";
3.使用Snoopy或curl代理。
如：$snoopy->proxy_host = "59.108.44.41";
$snoopy->proxy_port = "3128";
4.使用Snoopy或curl防造IP。
如：$snoopy->rawheaders['X_FORWARDED_FOR'] = '127.0.0.1';
5.用php與一個重起路由的程序，這樣就會獲得新的ip地址。
6.如果發(fā)現(xiàn)重起路由還是顯示被封，有可能對方封了你的mac地址，現(xiàn)在路由器都有偽造MAC的功能，可以寫程序或手動修改路由器的MAC地址，網(wǎng)上也有專門修改網(wǎng)卡mac地址的工具。
相關(guān)文章
PHP7生產(chǎn)環(huán)境隊列Beanstalkd用法詳解
在本篇文章里小編給大家分享的是關(guān)于PHP7生產(chǎn)環(huán)境隊列Beanstalkd用法內(nèi)容，需要的朋友們可以參考下。2020-05-05
Yii 使用intervention/image拓展實現(xiàn)圖像處理功能
這篇文章主要介紹了Yii 使用intervention/image拓展實現(xiàn)圖像處理功能,需要的朋友可以參考下2019-06-06
這篇文章主要介紹了PHP array_shift()用法,結(jié)合實例形式分析了array_shift()的功能、使用方法、相關(guān)問題與解決方法,需要的朋友可以參考下2019-01-01
使用PHPOffice/PHPWord實現(xiàn)讀取Word內(nèi)容
這篇文章主要為大家詳細介紹了如何使用PHPOffice/PHPWord實現(xiàn)讀取Word內(nèi)容的功能，文中的示例代碼講解詳細，感興趣的小伙伴可以了解一下2023-07-07
這篇文章主要介紹了PHP基于回溯算法解決n皇后問題的方法,結(jié)合實例形式分析了PHP基于回溯算法解決N皇后問題的原理與具體實現(xiàn)技巧,需要的朋友可以參考下2017-11-11
PHP Primary script unknown 解決方法總結(jié)
在本篇文章里小編給大家整理的是關(guān)于PHP Primary script unknown 終極解決方法以及相關(guān)知識點，有需要的朋友們參考學習下。2019-08-08
php下進行目錄的一些操作，經(jīng)常用到的方法2008-07-07
這篇文章主要介紹了PHP實現(xiàn)對二維數(shù)組某個鍵排序的方法,涉及php針對數(shù)組的遍歷、比較、排序等相關(guān)操作技巧,需要的朋友可以參考下2016-09-09
php將數(shù)組轉(zhuǎn)換成csv格式文件輸出的方法
這篇文章主要介紹了php將數(shù)組轉(zhuǎn)換成csv格式文件輸出的方法,涉及php操作csv文件的技巧,非常具有實用價值,需要的朋友可以參考下2015-03-03
下面小編就為大家?guī)硪黄狿HP設(shè)置Cookie的HTTPONLY屬性方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-02-02