phpQuery占用內(nèi)存過多的處理方法
更新時間：2013年11月13日 10:30:04 作者：
本文解決phpQuery占用內(nèi)存過多的問題
phpQuery是一個用php實(shí)現(xiàn)的類似jQuery的開源項(xiàng)目，可以在服務(wù)器端以jQuery的語法形式解析網(wǎng)頁元素。 相對于正則或其它方式匹配網(wǎng)頁方式，phpQuery使用起來要方便的多。
在使用phpQuery采集網(wǎng)頁時，遇到一個問題：在處理大量網(wǎng)頁之后，phpQuery占用的內(nèi)存數(shù)量非常驚人（很快就超過了1G)，
比如這段代碼：
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網(wǎng)頁元素...
echo memory_get_usage() . "\n";
}
謹(jǐn)慎運(yùn)行上面這段代碼，它會很快用光你的內(nèi)存。
經(jīng)過查看phpQuery的源代碼終于發(fā)現(xiàn)了問題所在，phpQuery在每處理一個網(wǎng)頁就會產(chǎn)生一個DOMDocumentWrapper 對象，而每個DOMDocumentWrapper 對象會被保存在靜態(tài)成員$documents中（phpQuery::createDocumentWrapper中），這個變量是一個數(shù)組，每解析一個網(wǎng)頁數(shù)組元素就增加一個。
phpQuery::$documents[$wrapper->id] = $wrapper;
找到問題后，解決就很容易了，每次解析完一個網(wǎng)頁，把phpQuery::$documents置空即可。
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網(wǎng)頁元素...
phpQuery::$documents = array();
echo memory_get_usage() . "\n";
}
內(nèi)存占用穩(wěn)定了。
在使用phpQuery采集網(wǎng)頁時，遇到一個問題：在處理大量網(wǎng)頁之后，phpQuery占用的內(nèi)存數(shù)量非常驚人（很快就超過了1G)，
比如這段代碼：
復(fù)制代碼 代碼如下:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網(wǎng)頁元素...
echo memory_get_usage() . "\n";
}
謹(jǐn)慎運(yùn)行上面這段代碼，它會很快用光你的內(nèi)存。
經(jīng)過查看phpQuery的源代碼終于發(fā)現(xiàn)了問題所在，phpQuery在每處理一個網(wǎng)頁就會產(chǎn)生一個DOMDocumentWrapper 對象，而每個DOMDocumentWrapper 對象會被保存在靜態(tài)成員$documents中（phpQuery::createDocumentWrapper中），這個變量是一個數(shù)組，每解析一個網(wǎng)頁數(shù)組元素就增加一個。
phpQuery::$documents[$wrapper->id] = $wrapper;
找到問題后，解決就很容易了，每次解析完一個網(wǎng)頁，把phpQuery::$documents置空即可。
復(fù)制代碼 代碼如下:
while (true) {
phpQuery::newDocumentFile($htmlFile);
// 處理網(wǎng)頁元素...
phpQuery::$documents = array();
echo memory_get_usage() . "\n";
}
內(nèi)存占用穩(wěn)定了。
您可能感興趣的文章:
相關(guān)文章
php+MySQL判斷update語句是否執(zhí)行成功的方法
這篇文章主要介紹了php+MySQL判斷update語句是否執(zhí)行成功的方法,可以通過mysql_affected_rows方法加以實(shí)現(xiàn),需要的朋友可以參考下2014-08-08
剛才說到，我們可以用php來開發(fā)Shell程序。有的同學(xué)可能會問啦：php不是用來做網(wǎng)頁的么？。是的，php可以用來做動態(tài)網(wǎng)頁，并且當(dāng)初php就是為做動態(tài)網(wǎng)頁而開發(fā)的語言，但是理論上php可以用來做任何的程序，甚至是桌面程序2013-06-06
以下是對php中的foreach函數(shù)進(jìn)行了詳細(xì)的分析介紹，需要的朋友可以過來參考下2013-08-08
這篇文章主要介紹了PHP編程中嘗試程序并發(fā)的幾種方式總結(jié),這里舉了借助yield的異步以及swoole_process的進(jìn)程創(chuàng)建等例子,PHP本身并不支持多線程并發(fā),需要的朋友可以參考下2016-03-03
這篇文章主要介紹了2款PHP無限級分類實(shí)例代碼，需要的朋友可以參考下2015-11-11
這篇文章主要介紹了PHP使用XMLWriter讀寫xml文件操作,結(jié)合實(shí)例形式分析了php基于XMLWriter針對xml文件進(jìn)行讀寫操作相關(guān)實(shí)現(xiàn)技巧,并附帶相關(guān)源碼供讀者下載參考,需要的朋友可以參考下2018-07-07
很讓人受教的 提高php代碼質(zhì)量36計,需要的朋友可以參考下2012-09-09
新版本PHP引入了許多新的語法和語言功能,以及更嚴(yán)格的類型檢查,需要進(jìn)行一些代碼修改和調(diào)整,對于使用PHP5開發(fā)的項(xiàng)目,升級到PHP8可能需要花費(fèi)一些時間和精力,此外,由于PHP對一些舊有函數(shù)和方法進(jìn)行了廢棄和刪除,可能還需要進(jìn)行一些代碼重構(gòu)2024-02-02
這篇文章主要介紹了PHP設(shè)計模式之狀態(tài)模式定義與用法,結(jié)合實(shí)例形式分析了php狀態(tài)模式的概念、原理、定義、使用方法及相關(guān)注意事項(xiàng),需要的朋友可以參考下2018-04-04
PHP簡單實(shí)現(xiàn)合并2個數(shù)字鍵數(shù)組值的方法
這篇文章主要介紹了PHP簡單實(shí)現(xiàn)合并2個數(shù)字鍵數(shù)組值的方法,涉及php針對數(shù)組的遍歷、判斷、轉(zhuǎn)換等相關(guān)操作技巧,需要的朋友可以參考下2017-05-05