PHP實(shí)現(xiàn)采集抓取淘寶網(wǎng)單個(gè)商品信息
調(diào)用淘寶的數(shù)據(jù)可以使用淘寶提供的api，如果只需調(diào)用淘寶商品圖片名稱等公開信息在自己網(wǎng)站上，使用php中的 file_get_contents 函數(shù)實(shí)現(xiàn)即可。
思路：
file_get_contents(url) 該函數(shù)根據(jù) url 如 http://www.baidu.com 將該網(wǎng)頁(yè)內(nèi)容（源碼）以字符串形式輸出（一個(gè)整字符串），然后配合preg_match，preg_replace等這些正則表達(dá)式操作就可以實(shí)現(xiàn)獲取該url特定div，img等信息了。當(dāng)然前題是淘寶在單個(gè)商品頁(yè)面的結(jié)構(gòu)是固定的，如500圖的img中id就是J_ImgBooth！
具體實(shí)現(xiàn)方法：（獲取500圖，名稱，價(jià)格，屬性及商品描述）
$text=file_get_contents("http://item.taobao.com/item.htm?id=2380347279"); //將url地址上頁(yè)面內(nèi)容保存進(jìn)$text
A.獲取500圖：
preg_match('/<img[^>]*id="J_ImgBooth"[^r]*rc=\"([^"]*)\"[^>]*>/', $text, $img);
//運(yùn)用正則抓取img標(biāo)簽中id為J_ImgBooth的img，$img[0]為該500圖img標(biāo)簽，$img[1]為500圖的圖片地址；
B. 獲取名稱：
preg_match('/<title>([^<>]*)<\/title>/', $text, $title);
//因?yàn)檎闹械纳唐访Q標(biāo)簽沒(méi)有特殊class或id正則不好抓取，就抓<title>標(biāo)簽中的內(nèi)容了，一般來(lái)說(shuō)title中內(nèi)容就是商品名稱了（實(shí)際有些出入），$title[0]整個(gè)title標(biāo)簽 $title[1]標(biāo)簽中內(nèi)容；
$title=iconv('GBK','UTF-8',$title);
//如果你的網(wǎng)站是utf8編碼，那么需要進(jìn)行一下轉(zhuǎn)碼（淘寶是gbk編碼）
C.獲取價(jià)格：
preg_match('/<([a-z]+)[^i]*id=\"J_StrPrice\"[^>]*>([^<]*)<\/\\1>/is', $text, $price);
//同理獲取id為J_StrPrice的標(biāo)簽內(nèi)容$price[2], $price[0]是整個(gè)標(biāo)簽， $price[1]為strong標(biāo)簽名；
$price=floatval($price);//放入數(shù)據(jù)庫(kù)估計(jì)還有轉(zhuǎn)一下變量類型
D.獲取屬性：
這之前獲取的內(nèi)容都是在單標(biāo)簽中相對(duì)只需一個(gè)正則就可搞定，然而如果要獲取如
…
<div id=”xxx”>
…
<ul>
…
</ul>
<div>…
<div>…
</div>
</div>
</div>
…
這樣特定div中有未知n個(gè)<>標(biāo)簽，獲取該特定div將會(huì)非常的困難，搜了下網(wǎng)上，最接近的也只是”/<([a-z]+)[^>]*>([^<>]|(?R))*<\/\\1>/”這樣使用遞歸抓取標(biāo)簽對(duì)，但是他不能抓特定標(biāo)簽，所以想要輕松抓取class=”attributes”的div我是沒(méi)法辦到了。但是淘寶網(wǎng)頁(yè)有其特殊性，就是它的各個(gè)標(biāo)簽結(jié)構(gòu)基本是固定的…<div>…</div>標(biāo)簽后面不是</div><div id=”description”>就是</div><div>，所以我們可以采用變通法達(dá)到獲取屬性標(biāo)簽內(nèi)容的目的。
preg_match('/<(div)[^c]*class=\"attributes\"[^>]*>.*<\/\\1>/is', $text, $text0);
//這個(gè)正則會(huì)抓取<div開始到整個(gè)頁(yè)面最后一個(gè)</div>標(biāo)簽，當(dāng)然我們屬性標(biāo)簽就在這個(gè)的前面部分。
$text1=preg_replace("/<\/div>[^<]*<(div)[^c]*id=\"description\"[^>]*>.*<\/\\1>/is","",$text0);
//匹配到</div ><div id=”description”>至最后</div>然后用””代替（就是把匹配的刪除了），所以如果attributes的div后面緊跟的是description那么我們已經(jīng)達(dá)到目的了。
$attributes=preg_replace("/<\/div>[^<]*<(div)[^c]*class=\"box J_TBox\"[^>]*>.*<\/\\1>/is","",$text1);
//如果attributes后面緊跟box J_Tbox標(biāo)簽，那么我們還需要使用以上這步來(lái)剔除box J_Tbox標(biāo)簽，當(dāng)然如果attributes的div后面緊跟的是description，這一步將不會(huì)匹配到任何即什么都不會(huì)做。
E.獲取描述：
通過(guò)上面方法你肯定覺(jué)得淘寶頁(yè)面上任何標(biāo)簽都可以很簡(jiǎn)單獲取了吧（我之前也是這么想的），但是使用這個(gè)方法獲取描述時(shí)得到的內(nèi)容將會(huì)是“描述加載中”，是的，這個(gè)描述內(nèi)容不是在源碼中的，它是打開頁(yè)面加載進(jìn)一大堆js后，不知道從淘寶的哪個(gè)角落中加載進(jìn)來(lái)的。
好吧，那么我們也可以模仿它放一些js進(jìn)去。不知道哪些對(duì)加載描述有用？沒(méi)事，全加載進(jìn)來(lái)肯定沒(méi)錯(cuò)。不知道需要放那些特定div上去有作用？抓一個(gè)源碼，刪掉一些div一步步試試看，你會(huì)發(fā)現(xiàn)“<div id=”detail”> </div>
<div id="description">
<div id="J_DivItemDesc">描述加載中</div>
</div>
這幾個(gè)div是加載描述所必須的，那么下面就是寫代碼了：
preg_match_all('/<script[^>]*>[^<]*<\/script>/is', $text, $content);//頁(yè)面js腳本
$content=$content[0];
$description='<div id="detail"> </div>
<div id="description">
<div id="J_DivItemDesc">描述加載中</div>
</div>';
foreach ($content as &$v){$description.=iconv('GBK','UTF-8',$v);};
//將這個(gè)$description放進(jìn)頁(yè)面，描述就會(huì)自動(dòng)的加載進(jìn)來(lái)了，當(dāng)然多個(gè)商品描述在同一個(gè)頁(yè)面也會(huì)只有一個(gè)描述會(huì)被加載的。
- php pthreads多線程的安裝與使用
- 使用pthreads實(shí)現(xiàn)真正的PHP多線程（需PHP5.3以上版本）
- php結(jié)合curl實(shí)現(xiàn)多線程抓取
- PHP使用CURL實(shí)現(xiàn)多線程抓取網(wǎng)頁(yè)
- PHP多線程抓取網(wǎng)頁(yè)實(shí)現(xiàn)代碼
- php利用curl抓取新浪微博內(nèi)容示例
- PHP CURL模擬登錄新浪微博抓取頁(yè)面內(nèi)容 基于EaglePHP框架開發(fā)
- PHP 抓取新浪讀書頻道的小說(shuō)并生成txt電子書的代碼
- PHP實(shí)現(xiàn)抓取HTTPS內(nèi)容
- php使用pthreads v3多線程實(shí)現(xiàn)抓取新浪新聞信息操作示例
相關(guān)文章
不管什么類型 如果是數(shù)字，就返回?cái)?shù)字，如果不是數(shù)字就返回0 在PHP中用$_GET['id']的時(shí)候就可以這樣來(lái)一個(gè)轉(zhuǎn)換...太好了2009-06-06
php數(shù)組對(duì)百萬(wàn)數(shù)據(jù)進(jìn)行排除重復(fù)數(shù)據(jù)的實(shí)現(xiàn)代碼
在平時(shí)的工作中，經(jīng)常接到要對(duì)網(wǎng)站的會(huì)員進(jìn)行站內(nèi)信、手機(jī)短信、email進(jìn)行群發(fā)信息的通知，用戶列表一般由別的同事提供，當(dāng)中難免會(huì)有重復(fù)，為了避免重復(fù)發(fā)送，所以我在進(jìn)行發(fā)送信息前要對(duì)他們提供的用戶列表進(jìn)行排重，下面我以u(píng)id列表來(lái)講講我是如何利用php數(shù)組進(jìn)行排重的。2010-06-06
php class中public,private,protected的區(qū)別以及實(shí)例分析
本篇文章是對(duì)php class中public,private,protected的區(qū)別以及實(shí)例進(jìn)行了詳細(xì)的分析介紹，需要的朋友參考下2013-06-06
php array_map()函數(shù)實(shí)例用法
在本篇文章里小編給大家分享了一篇關(guān)于php array_map()函數(shù)實(shí)例用法，有興趣的朋友們可以學(xué)習(xí)下。2021-03-03
這篇文章主要介紹了php生成zip文件類,實(shí)例分析了php操作zip文件的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-04-04
php使用redis的幾種常見(jiàn)操作方式和用法示例
這篇文章主要介紹了php使用redis的幾種常見(jiàn)操作方式和用法,結(jié)合實(shí)例形式總結(jié)分析了PHP使用redis實(shí)現(xiàn)字符串緩存、隊(duì)列模擬、樂(lè)觀鎖與悲觀鎖實(shí)現(xiàn)、發(fā)布和訂閱等相關(guān)操作技巧,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了php中解析帶中文字符的url函數(shù)分享,本文直接給出實(shí)現(xiàn)代碼,重點(diǎn)是對(duì)rawurlencode函數(shù)的使用上,需要的朋友可以參考下2015-01-01
Windows下的PHP5.0詳解...2006-11-11
php有序列表或數(shù)組中刪除指定的值的實(shí)現(xiàn)代碼
這篇文章主要介紹了php有序列表或數(shù)組中刪除指定的值的實(shí)現(xiàn)代碼,刪除給定的值之后，得到一個(gè)新的有序列表，長(zhǎng)度-1，下面是具體的實(shí)現(xiàn)方法2021-08-08
php tp驗(yàn)證表單與自動(dòng)填充函數(shù)代碼
php tp驗(yàn)證表單與自動(dòng)填充函數(shù)代碼，需要的朋友可以參考下2012-02-02