PHP 獲取遠(yuǎn)程網(wǎng)頁內(nèi)容的代碼(fopen,curl已測)
更新時(shí)間：2011年06月06日 09:05:33 作者：
獲取遠(yuǎn)程網(wǎng)頁內(nèi)容的php代碼，做小偷采集程序的程序經(jīng)常用得到，現(xiàn)在用curl的比較多。
1、fopen的使用
<?php
$handle = fopen ("http://s.jb51.net/", "rb");
$contents = "";
while (!feof($handle)) {
$contents .= fread($handle, 8192);
}
fclose($handle);
echo $contents; //輸出獲取到得內(nèi)容。
?>
// 對 PHP 5 及更高版本可以使用下面的代碼
<?php
$handle = fopen("http://s.jb51.net", "rb");
$contents = stream_get_contents($handle);
fclose($handle);
echo $contents;
?>
但上面的代碼容易出現(xiàn) failed to open stream: HTTP request failed!錯誤，解決方法
有人說在php.ini中，有這樣兩個(gè)選項(xiàng):allow_url_fopen =on(表示可以通過url打開遠(yuǎn)程文件)，user_agent="PHP"（表示通過哪種腳本訪問網(wǎng)絡(luò)，默認(rèn)前面有個(gè) " ; " 去掉即可。）重啟服務(wù)器。
但是有些還是會有這個(gè)警告信息，想用完美的解決還差一步，還得設(shè)置php.ini里面的user_agent，php默認(rèn)的user_agent是PHP，我們把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)來模擬瀏覽器就可以了
user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
在工作中遇到這個(gè)問題，后完美解決，故分享給大家。
2、通過curl來實(shí)現(xiàn)
<?php
$url = "http://s.jb51.net";
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);
$dxycontent = curl_exec($ch);
echo $dxycontent;
?>
linux下可以使用下面的代碼下載
exec("wget {$url}");
PHP抓取外部資源函數(shù)fopen / file_get_contents / curl 的區(qū)別
fopen / file_get_contents 每次請求都會重新做DNS查詢，并不對DNS信息進(jìn)行緩存。
但是CURL會自動對DNS信息進(jìn)行緩存。對同一域名下的網(wǎng)頁或者圖片的請求只需要一次DNS查詢。
這大大減少了DNS查詢的次數(shù)。
所以CURL的性能比fopen / file_get_contents 好很多。
腳本之家原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明出處。
復(fù)制代碼 代碼如下:
<?php
$handle = fopen ("http://s.jb51.net/", "rb");
$contents = "";
while (!feof($handle)) {
$contents .= fread($handle, 8192);
}
fclose($handle);
echo $contents; //輸出獲取到得內(nèi)容。
?>
復(fù)制代碼 代碼如下:
// 對 PHP 5 及更高版本可以使用下面的代碼
<?php
$handle = fopen("http://s.jb51.net", "rb");
$contents = stream_get_contents($handle);
fclose($handle);
echo $contents;
?>
但上面的代碼容易出現(xiàn) failed to open stream: HTTP request failed!錯誤，解決方法
有人說在php.ini中，有這樣兩個(gè)選項(xiàng):allow_url_fopen =on(表示可以通過url打開遠(yuǎn)程文件)，user_agent="PHP"（表示通過哪種腳本訪問網(wǎng)絡(luò)，默認(rèn)前面有個(gè) " ; " 去掉即可。）重啟服務(wù)器。
但是有些還是會有這個(gè)警告信息，想用完美的解決還差一步，還得設(shè)置php.ini里面的user_agent，php默認(rèn)的user_agent是PHP，我們把它改成Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)來模擬瀏覽器就可以了
user_agent="Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
在工作中遇到這個(gè)問題，后完美解決，故分享給大家。
2、通過curl來實(shí)現(xiàn)
復(fù)制代碼 代碼如下:
<?php
$url = "http://s.jb51.net";
$ch = curl_init();
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT,10);
$dxycontent = curl_exec($ch);
echo $dxycontent;
?>
linux下可以使用下面的代碼下載
exec("wget {$url}");
PHP抓取外部資源函數(shù)fopen / file_get_contents / curl 的區(qū)別
fopen / file_get_contents 每次請求都會重新做DNS查詢，并不對DNS信息進(jìn)行緩存。
但是CURL會自動對DNS信息進(jìn)行緩存。對同一域名下的網(wǎng)頁或者圖片的請求只需要一次DNS查詢。
這大大減少了DNS查詢的次數(shù)。
所以CURL的性能比fopen / file_get_contents 好很多。
腳本之家原創(chuàng)內(nèi)容，轉(zhuǎn)載請注明出處。
相關(guān)文章
想看什么電子書，先去新浪讀書搜索，然后填入對應(yīng)的參數(shù)即可2009-12-12
php實(shí)現(xiàn)面包屑導(dǎo)航例子分享
這篇文章主要為大家分享了php實(shí)現(xiàn)面包屑導(dǎo)航例子，感興趣的小伙伴們可以參考一下2015-12-12
TP5框架實(shí)現(xiàn)一次選擇多張圖片并預(yù)覽的方法示例
這篇文章主要介紹了TP5框架實(shí)現(xiàn)一次選擇多張圖片并預(yù)覽的方法,結(jié)合實(shí)例形式詳細(xì)分析了thinkPHP5基于ajax數(shù)據(jù)提交上傳多張圖片與本地預(yù)覽相關(guān)操作技巧,需要的朋友可以參考下2020-04-04
thinkPHP模板中for循環(huán)與switch語句用法示例
這篇文章主要介紹了thinkPHP模板中for循環(huán)與switch語句用法,結(jié)合實(shí)例形式分析了for循環(huán)與switch語句的具體功能、定義與具體使用技巧,需要的朋友可以參考下2016-11-11
PHP數(shù)字字符串左側(cè)補(bǔ)0、字符串填充和自動補(bǔ)齊的幾種方法
這篇文章主要介紹了PHP數(shù)字字符串左側(cè)補(bǔ)0、字符串填充和自動補(bǔ)齊的幾種方法,需要的朋友可以參考下2014-05-05
知乎回答問題編輯框用 Ctrl+V 粘貼圖片是如何實(shí)現(xiàn)的？剛發(fā)現(xiàn)知乎編輯器有這么強(qiáng)的功能，在研究的過程中發(fā)現(xiàn)原來segmentfault也實(shí)現(xiàn)了這么強(qiáng)大的功能，下面結(jié)合2者來看看我們?nèi)绾螌?shí)現(xiàn)。2015-05-05
Dwz與thinkphp整合下的數(shù)據(jù)導(dǎo)出到Excel實(shí)例
這篇文章主要介紹了Dwz與thinkphp整合下的數(shù)據(jù)導(dǎo)出到Excel的方法,是結(jié)合jQuery與ThinkPHP框架實(shí)現(xiàn)的導(dǎo)出Excel技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2014-12-12
Laravel 5框架學(xué)習(xí)之?dāng)?shù)據(jù)庫遷移(Migrations)
本文給大家介紹的是Laravel5框架中最強(qiáng)大的功能之一數(shù)據(jù)庫遷移（database migrations），本文詳細(xì)給大家介紹數(shù)據(jù)庫遷移的步驟和方法，非常實(shí)用，有需要的小伙伴可以參考下。2015-04-04
php設(shè)計(jì)模式之工廠方法模式分析【星際爭霸游戲案例】
這篇文章主要介紹了php設(shè)計(jì)模式之工廠方法模式,結(jié)合具體星際爭霸游戲案例形式分析了PHP工廠方法模式的相關(guān)原理、使用方法及操作注意事項(xiàng),需要的朋友可以參考下2020-01-01
下面小編就為大家分享一篇thinkphp3.2.0 setInc方法 源碼全面解析，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-01-01