ruby+nokogori抓取糗事百科前10頁并存儲進數(shù)據(jù)庫示例
更新時間：2014年05月04日 11:26:56 作者：
這篇文章主要介紹了ruby+nokogori抓取糗事百科前10頁并存儲進數(shù)據(jù)庫示例,需要的朋友可以參考下
ruby,nokogori,爬取糗事百科最新的10頁加圖片比并同時保存進文本跟數(shù)據(jù)庫
復制代碼 代碼如下:
#encoding:utf-8
require "open-uri"
require "nokogiri"
require "mysql"
@dbh=Mysql.real_connect("localhost","root","dengli","pachong")
@file=open("qb.txt","w")
def getQiubai(url)
data=open(url){|f| f.read}
doc=Nokogiri::HTML(data)
doc.css('div.block.untagged.mb15.bs2').each{|p|
content=p.css('div.content').text
@file.puts("#{content}\n")
img=p.css('div.thumb img').each{|img|
imgAddr=img.attr('src')
@file.puts("#{imgAddr}\n")
time=Time.now
sql="INSERT INTO qiushibaike (`body`,`img`,`time`) VALUES ('#{content}','#{imgAddr}','#{time}')"
@dbh.query(sql)
}
}
end
for i in 1..10
@file.puts("這是第#{i}頁")
url="http://www.qiushibaike.com/8hr/page/#{i}"
getQiubai(url)
end
相關文章
這篇文章主要介紹了Ruby中鉤子方法的運用實例解析,鉤子方法的使用時Ruby入門學習中的基礎知識,需要的朋友可以參考下2016-06-06
對于rails的一些使用技巧的代碼2009-01-01
這篇文章主要介紹了Ruby最簡單的消息服務器,大家參考使用2013-11-11
Ruby元編程之夢中情人method_missing方法詳解
這篇文章主要介紹了Ruby元編程之夢中情人method_missing方法詳解,本文講解了我該怎么用 method_missing 、方法代理、define_method、什么時候用 method_missing、元方法等內(nèi)容,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了Ruby中的反射（Reflection）應用實例,實現(xiàn)通過一個類名字符串構(gòu)造一個類對象和訪問成員變量和私有方法 ,需要的朋友可以參考下2014-06-06
這篇文章主要介紹了Ruby實現(xiàn)的最優(yōu)二叉查找樹算法,本文直接給出實現(xiàn)代碼,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了Ruby中的集合編寫指南,作者提出了編程過程中集合方面的一些需要注意的地方,需要的朋友可以參考下2015-08-08
這篇文章主要介紹了Ruby中的模塊與混合類型的相關知識,包括平常人們常說的多態(tài)與繼承等相關知識點,需要的朋友可以參考下2015-05-05
Windows下Ruby on Rails開發(fā)環(huán)境安裝配置圖文教程
這篇文章主要介紹了Windows下Ruby on Rails開發(fā)環(huán)境安裝配置圖文教程,ROR初學者必看,需要的朋友可以參考下2014-07-07
Ruby是非常自由靈活的語言，所以不同的Rubist風格差異可能很大。那么在代碼規(guī)范方面他們的差異大不大呢？ 通過分析GitHub上托管的開源代碼，得出了 一些有趣的結(jié)果 ，讓我們一起來看看Rubist的喜好吧2014-03-03