最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python正則匹配抓取豆瓣電影鏈接和評(píng)論代碼分享

 更新時(shí)間:2013年12月27日 09:52:27   作者:  
抓取豆瓣各類型電影的鏈接和評(píng)論,按評(píng)分排列

復(fù)制代碼 代碼如下:

import urllib.request
import re
import time

def movie(movieTag):

    tagUrl=urllib.request.urlopen(url)
    tagUrl_read = tagUrl.read().decode('utf-8')
    return tagUrl_read

def subject(tagUrl_read):

    '''
        這里還存在問(wèn)題:
        ①這只針對(duì)單獨(dú)的一頁(yè)進(jìn)行排序,而沒(méi)有對(duì)全部頁(yè)面的電影進(jìn)行排序
        ②下次更新添加電影鏈接,考慮添加電影海報(bào)
        ③需要追加列表
        ④導(dǎo)入到本地txt或excel中
        ⑤在匹配電影名字時(shí)是否可以同時(shí)匹配鏈接與名字、評(píng)分、評(píng)論組成數(shù)組
        ⑥
    '''
#正則表達(dá)式匹配電影的名字(鏈接)、評(píng)分與評(píng)論   
    nameURL = re.findall(r'(http://movie.douban.com/subject/[0-9.]+)\/"\s+title="(.+)"',tagUrl_read)
    scoreURL = re.findall(r'<span\s+class="rating_nums">([0-9.]+)<\/span>',tagUrl_read)
    evaluateURL = re.findall(r'<span\s+class="pl">\((\w+)人評(píng)價(jià)\)<\/span>',tagUrl_read)
    movieLists = list(zip(nameURL,scoreURL,evaluateURL))
    newlist.extend(movieLists)
    return newlist

#用quote處理特殊(中文)字符
movie_type = urllib.request.quote(input('請(qǐng)輸入電影類型(如劇情、喜劇、懸疑):'))
page_end=int(input('請(qǐng)輸入搜索結(jié)束時(shí)的頁(yè)碼:'))
num_end=page_end*20
num=0
page_num=1
newlist=[]
while num<num_end:
    url=r'http://movie.douban.com/tag/%s?start=%d'%(movie_type,num)
    movie_url = movie(url)
    subject_url=subject(movie_url)
    num=page_num*20
    page_num+=1
else:
    #使用sorted函數(shù)對(duì)列表進(jìn)行排列,reverse參數(shù)為T(mén)rue時(shí)升序,默認(rèn)或False時(shí)為降序, key=lambda還不是很明白這里的原理
    movieLIST = sorted(newlist, key=lambda movieList : movieList[1],reverse = True)
    for movie in movieLIST:
        print(movie)

time.sleep(3)

print('結(jié)束')

相關(guān)文章

最新評(píng)論

韶关市| 建阳市| 兴海县| 德昌县| 崇明县| 长沙县| 兴宁市| 土默特左旗| 正宁县| 霍山县| 乡宁县| 翼城县| 华坪县| 双牌县| 罗江县| 邛崃市| 霍城县| 高阳县| 渭源县| 宁远县| 望江县| 沙湾县| 连城县| 志丹县| 南陵县| 托克逊县| 宁阳县| 唐河县| 兴隆县| 吴忠市| 靖西县| 漾濞| 边坝县| 金华市| 化隆| 东乡县| 汕尾市| 静宁县| 额济纳旗| 株洲市| 拉萨市|