####寫(xiě)入csv文件中
 
with open(self.CsvFileName, 'wb') as csvfile:
 
spamwriter = csv.writer(csvfile, dialect='excel')
 
#設(shè)置標(biāo)題
 
spamwriter.writerow(["游戲賬號(hào)","用戶(hù)類(lèi)型","游戲名稱(chēng)","渠道","充值類(lèi)型","充值金額","返利金額","單號(hào)","日期"])
 
#將CsvData中的數(shù)據(jù)循環(huán)寫(xiě)入到CsvFileName文件中
 
for item in self.CsvData:
 
spamwriter.writerow(item)

# coding=utf-8
 
import urllib
 
import urllib2
 
import cookielib
 
import re
 
import csv
 
import sys
 
 
class Pyw():
 
#初始化數(shù)據(jù)
 
def __init__(self):
 
#登錄的Url地址
 
self.LoginUrl="http://v.pyw.cn/login/check"
 
#所要獲取的Url地址
 
self.PageUrl="http://v.pyw.cn/Data/accountdetail/%s"
 
# 傳輸?shù)臄?shù)據(jù)：用戶(hù)名、密碼、是否記住用戶(hù)名
 
self.PostData = urllib.urlencode({
 
"username": "15880xxxxxx",
 
"password": "a123456",
 
"remember": "1"
 
})
 
#第幾筆記錄
 
self.PageIndex=0;
 
#循環(huán)獲取共4頁(yè)內(nèi)容
 
self.PageTotal=1
 
#正則解析出tr
 
self.TrExp=re.compile("(?isu)<tr[^>]*>(.*?)</tr>")
 
#正則解析出td
 
self.TdExp = re.compile("(?isu)<td[^>]*>(.*?)</td>")
 
#創(chuàng)建cookie
 
self.cookie = cookielib.CookieJar()
 
#構(gòu)建opener
 
self.opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookie))
 
#解析頁(yè)面總頁(yè)數(shù)
 
self.Total=4
 
#####設(shè)置csv文件
 
self.CsvFileName="Pyw.csv"
 
#####存儲(chǔ)Csv數(shù)據(jù)
 
self.CsvData=[]
 
 
#解析網(wǎng)頁(yè)中的內(nèi)容
 
def GetPageItem(self,PageHtml):
 
#循環(huán)取出Table中的所有行
 
for row in self.TrExp.findall(PageHtml):
 
#取出當(dāng)前行的所有列
 
coloumn=self.TdExp.findall(row)
 
#判斷符合的記錄
 
if len(coloumn) == 9:
 
# print "游戲賬號(hào):%s" % coloumn[0].strip()
 
# print "用戶(hù)類(lèi)型:%s" % coloumn[1].strip()
 
# print "游戲名稱(chēng):%s" % coloumn[2].strip()
 
# print "渠道:%s" % coloumn[3].strip()
 
# print "充值類(lèi)型:%s" % coloumn[4].strip()
 
# print "充值金額:%s" % coloumn[5].strip().replace("￥", "")
 
# print "返利金額:%s" % coloumn[6].strip().replace("￥", "")
 
# print "單號(hào):%s" % coloumn[7].strip()
 
# print "日期:%s" % coloumn[8].strip()
 
#拼湊行數(shù)據(jù)
 
d=[coloumn[0].strip(),
 
coloumn[1].strip(),
 
coloumn[2].strip(),
 
coloumn[3].strip(),
 
coloumn[4].strip(),
 
coloumn[5].strip().replace("￥", ""),
 
coloumn[6].strip().replace("￥", ""),
 
coloumn[7].strip(),
 
coloumn[8].strip()]
 
self.CsvData.append(d)
 
 
#模擬登錄并獲取頁(yè)面數(shù)據(jù)
 
def GetPageHtml(self):
 
try:
 
#模擬登錄
 
request=urllib2.Request(url=self.LoginUrl,data=self.PostData)
 
ResultHtml=self.opener.open(request)
 
#開(kāi)始執(zhí)行獲取頁(yè)面數(shù)據(jù)
 
while self.PageTotal<=self.Total:
 
#動(dòng)態(tài)拼湊所要解析的Url
 
m_PageUrl = self.PageUrl % self.PageTotal
 
#計(jì)算當(dāng)期第幾頁(yè)
 
self.PageTotal = self.PageTotal + 1
 
#獲取當(dāng)前解析頁(yè)面的所有內(nèi)容
 
ResultHtml=self.opener.open(m_PageUrl)
 
#解析網(wǎng)頁(yè)中的內(nèi)容
 
self.GetPageItem(ResultHtml.read())
 
 
####寫(xiě)入Csv文件中
 
with open(self.CsvFileName, 'wb') as csvfile:
 
spamwriter = csv.writer(csvfile, dialect='excel')
 
#設(shè)置標(biāo)題
 
spamwriter.writerow(["游戲賬號(hào)","用戶(hù)類(lèi)型","游戲名稱(chēng)","渠道","充值類(lèi)型","充值金額","返利金額","單號(hào)","日期"])
 
#將CsvData中的數(shù)據(jù)循環(huán)寫(xiě)入到CsvFileName文件中
 
for item in self.CsvData:
 
spamwriter.writerow(item)
 
 
print "成功導(dǎo)出CSV文件！"
 
except Exception,e:
 
print "404 error!%s" % e
 
#實(shí)例化類(lèi)
 
p=Pyw()
 
#執(zhí)行方法
 
p.GetPageHtml()

import pandas as pd

data = pd.read_table('地址', sep=",")['網(wǎng)址'].values

print(data[1])