基于PHP的簡單采集數(shù)據(jù)入庫程序
更新時間：2014年07月30日 09:34:33 投稿：hebedich
前幾天有一朋友要我?guī)妥鲆粋€采集新聞信息的程序，抽了點時間寫了個PHP版本的，隨筆記錄下。
說到采集，無非就是遠程獲取信息->提取所需內容->分類存儲->讀取->展示
也算是簡單"小偷程序"的加強版吧
下面是對應核心代碼（別拿去做壞事哦^_^）
所要采集的內容是某游戲網(wǎng)站上的公告，如下圖：
可先利用file_get_contents和簡單正則獲取基本頁面信息
整理下基本信息，采集入庫：
<?php
include_once("conn.php");
if($_GET['id']<=8&&$_GET['id']){
$id=$_GET['id'];
$conn=file_get_contents("http://www.93moli.com/news_list_4_$id.html");//獲取頁面內容
$pattern="/<li><a title=\"(.*)\" target=\"_blank\" href=\"(.*)\">/iUs";//正則
preg_match_all($pattern, $conn, $arr);//匹配內容到arr數(shù)組
//print_r($arr);die;
foreach ($arr[1] as $key => $value) {//二維數(shù)組[2]對應id和[1]剛好一樣,利用起key
$url="http://www.93moli.com/".$arr[2][$key];
$sql="insert into list(title,url) value ('$value', '$url')";
mysql_query($sql);
//echo "<a href='content.php?url=http://www.93moli.com/$url'>$value</a>"."<br/>";
}
$id++;
echo "正在采集URL數(shù)據(jù)列表$id...請稍后...";
echo "<script>window.location='list.php?id=$id'</script>";
}else{
echo "采集數(shù)據(jù)結束。";
}
?>
conn.php是數(shù)據(jù)庫連接文件
list.php是本頁面
由于要采集的數(shù)據(jù)是分頁顯示的，且頁面地址是規(guī)律遞增，所以我用了js跳轉代碼，利用id傳值控制采集的頁數(shù)，也避免了for循環(huán)數(shù)目過大。
輕輕松松數(shù)據(jù)入庫，下篇文章寫關于具體url采集信息的過程。
相關文章
PHP6怎么連接sqlserver2005呢？其實方法步驟很簡單的。下面腳本之家小編給大家介紹PHP6連接SQLServer2005的三部曲，感興趣的朋友參考下吧2016-04-04
這篇文章主要給大家介紹了關于thinkphp諸多限制條件下如何getshell的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-12-12
這篇文章主要介紹了WordPress中用于獲取文章作者與分類信息的方法整理,都是來自于WordPress的WP_Query類之下,需要的朋友可以參考下2015-12-12
本篇文章給大家?guī)淼膬热菔顷P于Laravel服務容器的綁定與解析，有一定的參考價值，有需要的朋友可以參考一下，希望對你有所幫助2019-11-11
用來解析.htgroup文件的PHP類代碼，需要的朋友可以參考下2012-09-09
這篇文章主要給大家介紹了關于Laravel如何創(chuàng)建服務器提供者的相關資料，文中通過示例代碼介紹的非常詳細，對大家學習或者使用Laravel具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2019-04-04
老生常談php中傳統(tǒng)驗證與thinkphp框架(必看篇)
下面小編就為大家?guī)硪黄仙Ｕ刾hp中傳統(tǒng)驗證與thinkphp框架(必看篇)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-06-06
這篇文章主要介紹了laravel安裝和配置教程,需要的朋友可以參考下2014-10-10
這篇文章主要介紹了smarty高級特性之對象的使用方法,結合實例形式簡單分析了使用類與對象的相關技巧,需要的朋友可以參考下2015-12-12
這篇文章主要為大家詳細介紹了php實現(xiàn)微信原生支付，掃碼支付功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-05-05