python網(wǎng)絡(luò)爬蟲采集聯(lián)想詞示例
python爬蟲_采集聯(lián)想詞代碼
#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特別提示，下面這個(gè)list中的代理ip可能失效，請(qǐng)換上有效的代理ip
iplist = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']
list1 = ["集團(tuán)","科技"]
for item in list1:
ip= choice(iplist)
gjc = urllib.quote(item)
url = "http://sug.so.#/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
headers = {
"GET":url,
"Host":"sug.so.#",
"Referer":"http://www.so.com/",
"User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
}
proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})
opener = urllib2.build_opener(proxy_support)
urllib2.install_opener( opener )
req = urllib2.Request(url)
for key in headers:
req.add_header(key,headers[key])
html = urllib2.urlopen(req).read()
ss = re.findall("\"(.*?)\"",html)
for item in ss:
print item
time.sleep(2)
相關(guān)文章
介紹了如何在Python中使用matplotlib庫(kù)進(jìn)行繪圖,并處理字符串日期格式轉(zhuǎn)換為date對(duì)象以及自定義x軸日期顯示格式的方法,首先,導(dǎo)入必要的環(huán)境和繪圖方法,其次,處理橫坐標(biāo)數(shù)組,將字符串型的日期轉(zhuǎn)換成date對(duì)象,以便用于繪圖2024-09-09
Python著名游戲?qū)崙?zhàn)之方塊連接 我的世界
讀萬(wàn)卷書不如行萬(wàn)里路，學(xué)的扎不扎實(shí)要通過(guò)實(shí)戰(zhàn)才能看出來(lái)，本篇文章手把手帶你模仿著名游戲——我的世界,大家可以在過(guò)程中查缺補(bǔ)漏，看看自己掌握程度怎么樣2021-10-10
python隨機(jī)數(shù)分布random均勻分布實(shí)例
今天小編就為大家分享一篇python隨機(jī)數(shù)分布random均勻分布實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-11-11
python使用socket向客戶端發(fā)送數(shù)據(jù)的方法
這篇文章主要介紹了python使用socket向客戶端發(fā)送數(shù)據(jù)的方法,涉及Python使用socket實(shí)現(xiàn)數(shù)據(jù)通信的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2015-04-04
Python中apply函數(shù)的用法實(shí)例教程
這篇文章主要介紹了Python中apply函數(shù)的用法,配合實(shí)例解說(shuō),可加深讀者對(duì)apply函數(shù)的理解,需要的朋友可以參考下2014-07-07
python繼承threading.Thread實(shí)現(xiàn)有返回值的子類實(shí)例
這篇文章主要介紹了python繼承threading.Thread實(shí)現(xiàn)有返回值的子類實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
Python lxml解析HTML并用xpath獲取元素的方法
今天小編就為大家分享一篇Python lxml解析HTML并用xpath獲取元素的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
最近開(kāi)始研究python，于是寫了個(gè)Python版的文曲星猜數(shù)字游戲，喜歡的朋友可以參考下2013-09-09
本文主要是解決python2.7在查詢mysql時(shí)產(chǎn)生中文亂碼的處理方法，非常的有用，親測(cè)可行，推薦給大家2014-11-11
這篇文章主要介紹了如何快速一鍵生成Python爬蟲請(qǐng)求頭，幫助大家更好的理解和學(xué)習(xí)使用python爬蟲，感興趣的朋友可以了解下2021-03-03