詳解PHP多個(gè)進(jìn)程配合redis的有序集合實(shí)現(xiàn)大文件去重
1.對(duì)一個(gè)大文件比如我的文件為
-rw-r--r-- 1 ubuntu ubuntu 9.1G Mar 1 17:53 2018-12-awk-uniq.txt
2.使用split命令切割成10個(gè)小文件
split -b 1000m 2018-12-awk-uniq.txt -b 按照字節(jié)切割 , 支持單位m和k
3.使用10個(gè)php進(jìn)程讀取文件 , 插入redis的有序集合結(jié)構(gòu)中 , 重復(fù)的是插不進(jìn)去的 ,因此可以起到去重的作用
<?php
$file=$argv[1];
//守護(hù)進(jìn)程
umask(0); //把文件掩碼清0
if (pcntl_fork() != 0){ //是父進(jìn)程，父進(jìn)程退出
exit();
}
posix_setsid();//設(shè)置新會(huì)話組長(zhǎng)，脫離終端
if (pcntl_fork() != 0){ //是第一子進(jìn)程，結(jié)束第一子進(jìn)程
exit();
}
$start=memory_get_usage();
$redis=new Redis();
$redis->connect('127.0.0.1', 6379);
$handle = fopen("./{$file}", 'rb');
while (feof($handle)===false) {
$line=fgets($handle);
$email=str_replace("\n","",$line);
$redis->zAdd('emails', 1, $email);
}
4. redis中查看獲取的數(shù)據(jù)
zcard emails 獲取元素個(gè)數(shù)
取一定范圍的元素 , 比如從100000開始 到 100100結(jié)束
zrange emails 100000 100100 WITHSCORES
以上所述是小編給大家介紹的PHP多個(gè)進(jìn)程配合redis的有序集合實(shí)現(xiàn)大文件去重詳解整合，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
用PHP控制用戶的瀏覽器--ob*函數(shù)的使用說(shuō)明
用PHP控制用戶的瀏覽器--ob*函數(shù)的使用說(shuō)明...2007-03-03
php中使用ExcelFileParser處理excel獲得數(shù)據(jù)(可作批量導(dǎo)入到數(shù)據(jù)庫(kù)使用)
使用ExcelFileParser處理excel獲得數(shù)據(jù) 可以用作批量導(dǎo)入到數(shù)據(jù)庫(kù)使用，需要獲取excel數(shù)據(jù)的朋友可以參考下。2010-08-08
深入研究PHP中的preg_replace和代碼執(zhí)行
這篇文章主要給大家介紹了關(guān)于PHP中preg_replace和代碼執(zhí)行的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-08-08
淺談Laravel中如何對(duì)大文件進(jìn)行加密
在Laravel項(xiàng)目中，用戶可以上傳任何大小的文件，出于安全目的，需要對(duì)這些文件進(jìn)行靜態(tài)加密。Laravel提供encryption, 但它們主要用于加密值。 使用encrypt助手方法對(duì)像圖像文件進(jìn)行加密可以很好地工作，文件內(nèi)容需要加載到內(nèi)存中，對(duì)于大文件來(lái)說(shuō)是個(gè)問(wèn)題。2021-05-05
PHP之將POST數(shù)據(jù)轉(zhuǎn)化為字符串的實(shí)現(xiàn)代碼
今天來(lái)分享一個(gè)方便我們做LOG日志記錄的自定義函數(shù)，需要將POST數(shù)據(jù)轉(zhuǎn)化為字符串,需要的朋友可以參考下2016-11-11
Laravel是一套簡(jiǎn)潔、優(yōu)雅的PHP Web開發(fā)框架，本文將詳細(xì)介紹Laravel如何進(jìn)行配置2015-03-03
Thinkphp中的curd應(yīng)用實(shí)用要點(diǎn)
這篇文章主要介紹了Thinkphp中的curd應(yīng)用實(shí)用要點(diǎn)并附上了簡(jiǎn)單的示例，是篇非常不錯(cuò)的文章，這里推薦給大家。2015-01-01
這篇文章主要介紹了php正則表達(dá)式獲取內(nèi)容所有鏈接的相關(guān)資料,需要的朋友可以參考下2015-07-07
PHP strip_tags()去除HTML、XML以及PHP的標(biāo)簽介紹
這篇文章主要介紹了PHP strip_tags()去除HTML、XML以及PHP的標(biāo)簽介紹，需要的朋友可以過(guò)來(lái)參考下，希望對(duì)大家有所幫助2014-02-02
這篇文章主要介紹了php中Snoopy類用法,實(shí)例分析了使用Snoopy類實(shí)現(xiàn)頁(yè)面抓取的相關(guān)技巧,需要的朋友可以參考下2015-06-06