python3.X 抓取火車票信息【修正版】
代碼是在源代碼的基礎上進行的修改。希望對你有所幫助!
實現(xiàn)后如圖所示:

首先我們需要抓取一些基礎的數(shù)據(jù),各大火車站信息!
import urllib
from urllib import request
import re
url = 'https://kyfw.12306.cn/otn/resources/js/framework/station_name.js?station_version=1.8955'
req = urllib.request.Request(url)
r = urllib.request.urlopen(req).read().decode('utf-8')
stations = re.findall(r'([\u4e00-\u9fa5]+)|([A-Z]+)', r)
stations = dict(stations)
stations = dict(zip(stations.keys(),stations.values()))
上面的代碼通過抓取,網(wǎng)頁信息,返回一個字典數(shù)據(jù):
stations = dict(zip(stations.keys(),stations.values()))#這行代碼在后面進行了建值互換,這里沒有進行過修改,這是原文的數(shù)據(jù)。
火車站的數(shù)據(jù)抓取成功,我們接下來抓取查詢數(shù)據(jù),代碼如下:
from station import stations
import warnings
def change_date(d1) :
if '.' in d1 :
d1 = d1.replace('.', '-')
if not d1.startswith('0') :
d1 = str(0) + d1
if '-' in d1[-2] :
d1 = d1[:-1] + '0' + d1[-1]
return d1
def student_or_not(student) :
if 'y' in student[0].lower() :
return '0X00'
else :
return 'ADULT'
f1 = input('請輸入開始城市:\n')
f = stations[f1]
t1 = input('請輸入目的城市:\n')
t = stations[t1]
d1 = input('請輸入出發(fā)時間:\n')
d = str('2018-') + change_date(d1)
student = input('是否為學生票,輸入(yes/no)')
print('正在查詢' + f1 + '至' + t1 + '的列車,請聽聽音樂......')
url = 'https://kyfw.12306.cn/otn/leftTicket/query?leftTicketDTO.train_date=wppm3vysvbp&leftTicketDTO.from_station={f}&leftTicketDTO.to_station={t}&purpose_codes={student}'
url = url.format(f=f, d=d, t=t, student=student_or_not(student))
warnings.filterwarnings("ignore")
這里本人增加了兩個函數(shù) change_date() 和 student_or_not()
change_date() 這個函數(shù)對用戶輸入日期的行為進行了簡化,提高了用戶體驗,可以直接輸入比如7.3這樣的日期,其他的符號,我們可以自己進行擴展。
student_or_not() 這個函數(shù)的作用是判斷查詢的是普通票還是學生票
美化顯示,區(qū)分到站和出發(fā)站點的顏色,我們加入如下函數(shù)
def colored(color, text) :
table = {
'red' : '\033[91m',
'green' : '\033[92m',
'nc' : '\033[0m'
}
cv = table.get(color)
nc = table.get('nc')
return ''.join([cv, text, nc])
最后我們進行數(shù)據(jù)處理展示:
import requests
from get_urltrain import url
from prettytable import PrettyTable
from color_set import colored
from station import stations
def chair_lists(row_list) :
chair_list = []
for i in range(len(row_list) - 5, 21, -1) :
if row_list[i] != '' :
chair_list.append(row_list[i])
else :
chair_list.append('--')
return chair_list
headers = {
'user-agent' : 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36'
}
r = requests.get(url, verify=False, headers=headers) # 請求網(wǎng)址1的內(nèi)容
rows = r.json()['data']['result'] # 將內(nèi)容解析為列表
trains = PrettyTable()
trains.field_names = ["車次", "車站", "時間", "歷時", "商務座\特等座", "一等座", "二等座", "高級軟臥", "軟臥", "動臥", "硬臥 ", "軟座 ", "硬座", "無座",
"其他"]
# 設置table的header
num = len(rows) # 打印列表的個數(shù)
# station1 = dict([v, k] for k, v in stations.items())
station_list = dict(zip(stations.values(), stations.keys()))
for row in rows : # 列表循環(huán)
row_list = row.split('|')
chair_list = chair_lists(row_list)
trains.add_row([row_list[3],
'\n'.join([colored('green', station_list[row_list[6]]),
colored('red', station_list[row_list[7]])]),
'\n'.join([colored('green', row_list[8]),
colored('red', row_list[9])]),
row_list[10],
] + chair_list)
print('查詢結束,共有 %d 趟列車。' % num) # 列表個數(shù)也就是列車個數(shù)
print(trains)
這里我增加了 chair_lists()函數(shù)進行循環(huán)處理對應的表段
用于空數(shù)據(jù)替換成‘–'
station_list = dict(zip(stations.values(), stations.keys()))
#station_list 進行了建值互換方便下面的循環(huán)中的調(diào)用
trains.add_row([row_list[3],
'\n'.join([colored('green', station_list[row_list[6]]),
colored('red', station_list[row_list[7]])]),
'\n'.join([colored('green', row_list[8]),
colored('red', row_list[9])]),
row_list[10],
] + chair_list)
這個抓取案例我們可以舉一反三,可以拓展很多功能,方便我們進行數(shù)據(jù)快速查詢,比如展示價格等等!
源代碼在:https://github.com/morganlions/train
總結
以上所述是小編給大家介紹的python3.X 抓取火車票信息【修正版】,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
- Python使用爬蟲抓取美女圖片并保存到本地的方法【測試可用】
- Python爬蟲實現(xiàn)抓取京東店鋪信息及下載圖片功能示例
- Python基于分析Ajax請求實現(xiàn)抓取今日頭條街拍圖集功能示例
- Python使用Selenium模塊模擬瀏覽器抓取斗魚直播間信息示例
- Python使用Selenium模塊實現(xiàn)模擬瀏覽器抓取淘寶商品美食信息功能示例
- Python爬蟲之網(wǎng)頁圖片抓取的方法
- Python實現(xiàn)爬蟲抓取與讀寫、追加到excel文件操作示例
- python抓取網(wǎng)站的圖片并下載到本地的方法
- 對python抓取需要登錄網(wǎng)站數(shù)據(jù)的方法詳解
- Python selenium抓取微博內(nèi)容的示例代碼
- Python爬蟲抓取代理IP并檢驗可用性的實例
- 使用Python抓取豆瓣影評數(shù)據(jù)的方法
相關文章
python用requests實現(xiàn)http請求代碼實例
這篇文章主要介紹了python用requests實現(xiàn)http請求過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-10-10
python遠程調(diào)用rpc模塊xmlrpclib的方法
今天小編就為大家分享一篇python遠程調(diào)用rpc模塊xmlrpclib的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python設計模式中單例模式的實現(xiàn)及在Tornado中的應用
這篇文章主要介紹了Python設計模式中單例模式的實現(xiàn)及在Tornado中的應用,講解了單例模式用于設計Tornado框架中的線程控制方面的相關問題,需要的朋友可以參考下2016-03-03

