快捷導(dǎo)航

Python爬取智聯(lián)招聘數(shù)據(jù)分析師崗位相關(guān)信息的方法

更新時(shí)間：2019年08月13日 11:10:31 作者：chuancyli

這篇文章主要介紹了Python爬取智聯(lián)招聘數(shù)據(jù)分析師崗位相關(guān)信息的方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

進(jìn)入智聯(lián)招聘官網(wǎng)，在搜索界面輸入‘?dāng)?shù)據(jù)分析師'，界面跳轉(zhuǎn)，按F12查看網(wǎng)頁(yè)源碼，點(diǎn)擊network

選中XHR，然后刷新網(wǎng)頁(yè)

可以看到一些Ajax請(qǐng)求，找到畫紅線的XHR文件，點(diǎn)擊可以看到網(wǎng)頁(yè)的一些信息

在Header中有Request URL，我們需要通過找尋Request URL的特點(diǎn)來構(gòu)造這個(gè)請(qǐng)求網(wǎng)址，

點(diǎn)擊Preview，可以看到我們所需要的信息就存在result中，這信息基本是json格式，有些是列表；

下面我們通過Python爬蟲來爬取上面的信息；

代碼如下：

import requests
from urllib.parse import urlencode
import json
#from requests import codes
#import os
#from hashlib import md5
#from multiprocessing.pool import Pool
#import re
 
 
def get_page(offset):
  params = {
    'start': offset,
    'pageSize': '90',
    'cityId': '530',
    'salary': '0,0',
    'workExperience': '-1',
    'education': '-1',
    'companyType': '-1',
    'employmentType': '-1',
    'jobWelfareTag': '-1',
    'kw': '數(shù)據(jù)分析師',
    'kt': '3',
    '_v': '0.77091902',
    'x-zp-page-request-id': '8ff0aa73bf834b408f46324e44d89b84-1562722989022-210101',
    'x-zp-client-id': '2dc4c9a4-e80d-4488-84a3-03426dd69a1e'
    
    
  }
  base_url = 'https://fe-api.zhaopin.com/c/i/sou?'
  url = base_url + urlencode(params)
  try:
    resp = requests.get(url)
    print(url)
    if 200 == resp.status_code:
      print(resp.json())
      return resp.json()
  except requests.ConnectionError:
    return None
 
 
def get_information(json_page):
  if json_page.get('data'):
    results = json_page.get('data').get('results')    
    for result in results:
       yield {
         'city': result.get('city').get('display'),
          'company': result.get('company').get('name'),
          #'welfare':result.get('welfare'),
          'workingExp':result.get('workingExp').get('name'),
          'salary':result.get('salary'),
          'eduLevel':result.get('eduLevel').get('name')
        }
print('succ')
 
def write_to_file(content):
   with open('result.txt','a',encoding='utf-8') as f:
      print(type(json.dumps(content)))
      f.write(json.dumps(content,ensure_ascii=False)+'\n')
   
   
def main(offset):
  json_page=get_page(offset)  
  for content in get_information(json_page):
    write_to_file(content)
  
if __name__=='__main__':
   for i in range(10):
      main(offset=90*i)

爬取結(jié)果如下：