快捷導(dǎo)航

基于curl數(shù)據(jù)采集之單頁(yè)面采集函數(shù)get_html的使用

更新時(shí)間：2013年04月28日 17:06:58 作者：

在做數(shù)據(jù)采集時(shí)經(jīng)常要使用到curl+正則的方式采集需要的數(shù)據(jù) 根據(jù)自己的工作經(jīng)驗(yàn) 把自己寫(xiě)的一些常用自定義函數(shù) 與大家來(lái)分享如果有寫(xiě)得不恰當(dāng)?shù)牡胤?請(qǐng)多多指教

這是一個(gè)系列沒(méi)辦法在一兩天寫(xiě)完所以一篇一篇的發(fā)布

大致大綱：

1.curl數(shù)據(jù)采集系列之單頁(yè)面采集函數(shù)get_html

2.curl數(shù)據(jù)采集系列之多頁(yè)面并行采集函數(shù)get_htmls

3.curl數(shù)據(jù)采集系列之正則處理函數(shù)get _matches

4.curl數(shù)據(jù)采集系列之代碼分離

5.curl數(shù)據(jù)采集系列之并行邏輯控制函數(shù)web_spider

單頁(yè)面采集在數(shù)據(jù)采集過(guò)程中是最常用的一個(gè)功能有時(shí)在服務(wù)器訪問(wèn)限制的情況下只能使用這種采集方式慢但是可以簡(jiǎn)單的控制所以寫(xiě)好一個(gè)常用的curl函數(shù)調(diào)用是很重要的

百度和網(wǎng)易比較熟悉所以拿這兩個(gè)網(wǎng)站首頁(yè)采集來(lái)做例子講解

最簡(jiǎn)單的寫(xiě)法：

復(fù)制代碼代碼如下:

$url = 'http://www.baidu.com';
 $ch = curl_init($url);
 curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
 curl_setopt($ch,CURLOPT_TIMEOUT,5);
 $html = curl_exec($ch);
 if($html !== false){
     echo $html;
 }

由于使用頻繁可以利用curl_setopt_array寫(xiě)成函數(shù)的形式：

復(fù)制代碼代碼如下:

function get_html($url,$options = array()){
     $options[CURLOPT_RETURNTRANSFER] = true;
     $options[CURLOPT_TIMEOUT] = 5;
     $ch = curl_init($url);
     curl_setopt_array($ch,$options);
     $html = curl_exec($ch);
     curl_close($ch);
     if($html === false){
         return false;
     }
     return $html;
 }

復(fù)制代碼代碼如下:

$url = 'http://www.baidu.com';
echo get_html($url);

有時(shí)候需要傳遞一些特定的參數(shù)才能得到正確的頁(yè)面如現(xiàn)在要得到網(wǎng)易的頁(yè)面：

復(fù)制代碼代碼如下:

$url = 'http://www.163.com';
echo get_html($url);

會(huì)看到一片空白什么也沒(méi)有那么再利用curl_getinfo寫(xiě)一個(gè)函數(shù) 看看發(fā)生了什么：

復(fù)制代碼代碼如下:

function get_info($url,$options = array()){
     $options[CURLOPT_RETURNTRANSFER] = true;
     $options[CURLOPT_TIMEOUT] = 5;
     $ch = curl_init($url);
     curl_setopt_array($ch,$options);
     $html = curl_exec($ch);
     $info = curl_getinfo($ch);
     curl_close($ch);
     return $info;
 }
 $url = 'http://www.163.com';
 var_dump(get_info($url));

可以看到http_code 302 重定向了這時(shí)候就需要傳遞一些參數(shù)了：

復(fù)制代碼代碼如下:

$url = 'http://www.163.com';
$options[CURLOPT_FOLLOWLOCATION] = true;
echo get_html($url,$options);

會(huì)發(fā)現(xiàn) 怎么是這樣的一個(gè)頁(yè)面和我們電腦訪問(wèn)的不同？？？

看來(lái)參數(shù)還是不夠不夠服務(wù)器判斷我們的客戶端是什么設(shè)備上的就返回了個(gè)普通版

看來(lái)還要傳送USERAGENT

復(fù)制代碼代碼如下:

$url = 'http://www.163.com';
 $options[CURLOPT_FOLLOWLOCATION] = true;
 $options[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1; rv:19.0) Gecko/20100101 Firefox/19.0';
 echo get_html($url,$options);

OK現(xiàn)在頁(yè)面已經(jīng)出來(lái)了這樣基本這個(gè)get_html函數(shù)基本能實(shí)現(xiàn)這樣擴(kuò)展的功能

當(dāng)然也有另外的辦法可以實(shí)現(xiàn)，當(dāng)你明確的知道網(wǎng)易的網(wǎng)頁(yè)的時(shí)候就可以簡(jiǎn)單采集了：

復(fù)制代碼代碼如下:

 $url = 'http://www.163.com/index.html';
 echo get_html($url);

這樣也可以正常的采集

您可能感興趣的文章:

最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

基于curl數(shù)據(jù)采集之單頁(yè)面采集函數(shù)get_html的使用

相關(guān)文章

最新評(píng)論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具