快捷導(dǎo)航

python爬蟲篩選工作實(shí)例講解

更新時(shí)間：2020年11月23日 14:39:50 作者：小妮淺淺

在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python爬蟲篩選工作實(shí)例講解內(nèi)容，有需要的朋友們可以參考下。

我們?cè)谶x擇一件商品的時(shí)候，會(huì)先了解一些相關(guān)的商品信息，根據(jù)自己的需求和情況再進(jìn)行選擇。這種現(xiàn)象也同樣適用于找工作，篩選一個(gè)崗位的重要環(huán)節(jié)，就是看自身是否符合工作經(jīng)驗(yàn)的要求。不過(guò)因?yàn)樾畔⒘勘容^大，有沒有什么方法可以用python爬蟲中的知識(shí)點(diǎn)幫我們解決一下呢~具體內(nèi)容往下看：

根據(jù)工作經(jīng)驗(yàn)?zāi)晗?，劃分招聘等?jí)

# 校正拉勾網(wǎng)工作年限描述，以 Boss直聘描述為準(zhǔn)
def update_lagou_workyear():
  items = db.jobs_lagou_php.find({})
  for item in items:
    if item['workYear'] == '應(yīng)屆畢業(yè)生':
      item['workYear'] = '應(yīng)屆生'
    elif item['workYear'] == '1年以下':
      item['workYear'] = '1年以內(nèi)'
    elif item['workYear'] == '不限':
      item['workYear'] = '經(jīng)驗(yàn)不限'
    update_lagou(item)
  print('ok')
# 設(shè)置招聘的水平，分兩次執(zhí)行
def set_level():
  items = db.jobs_zhipin_php.find({})
  # items = db.jobs_lagou_php.find({})
    if item['workYear'] == '應(yīng)屆生':
      item['level'] = 1
    elif item['workYear'] == '1年以內(nèi)':
      item['level'] = 2
    elif item['workYear'] == '1-3年':
      item['level'] = 3
    elif item['workYear'] == '3-5年':
      item['level'] = 4
    elif item['workYear'] == '5-10年':
      item['level'] = 5
    elif item['workYear'] == '10年以上':
      item['level'] = 6
    elif item['workYear'] == '經(jīng)驗(yàn)不限':
      item['level'] = 10
    update(item)
print('ok')

這里有點(diǎn)坑的就是，一般要求經(jīng)驗(yàn)不限的崗位，需求基本都寫在任職要求里了，所以為了統(tǒng)計(jì)的準(zhǔn)確性，這個(gè)等級(jí)的數(shù)據(jù)，后面會(huì)被舍棄掉。

從后續(xù)的平均數(shù)據(jù)來(lái)看，這里的經(jīng)驗(yàn)不限，一般要求的是1-3年左右，但是還是建議舍棄掉。

拉勾網(wǎng)的職位描述和 Boss直聘稍有不同，需要先校正，然后再設(shè)置等級(jí)

實(shí)例擴(kuò)展：

python實(shí)現(xiàn)圖片篩選程序

#_*_coding:utf-8_*_
'''
Version V17.1.0
Date 2017-10-15
@Author Cheney
'''

# 收集EL 圖片集中需要的圖片，在elpick目錄下進(jìn)行

from PIL import Image
import csv
import os


# 獲取需要圖片的文件名
def readImageName():
 # 在elpick目錄下讀取sn.scv文件，該文件讀取出來(lái)后元素是list 需要轉(zhuǎn)換為str
 get_csv = csv.reader(open("elpick/sn.csv"))
 origSN = []
 transSN = []
 for sn in get_csv:
  origSN.append(sn)
 tempList = origSN

 # 讀取csv文件獲時(shí)獲取到的列表，其元素也是列表，需要將其轉(zhuǎn)換為字符串元素，使用下面for語(yǔ)句實(shí)現(xiàn)
 for s in tempList:
  # 去掉列表元素中的[''] 這幾個(gè)字符
   s = str(s).strip('[\'')
  s = str(s).strip('\']')
 transSN.append(s)
 ImageName = transSN
 return ImageName

pickImageName = readImageName()
# 遍歷所有圖片集的文件名
for image in os.listdir("elpick/original_el"):
 # 將讀取到的文件名進(jìn)行處理，去擴(kuò)展名，若是int文件名需要對(duì)文件名進(jìn)行int 處理
 imageName = image.strip(".jpg")

 # 比較判斷 若遍歷的文件名在需要收集的列表中，讀取之后并保存到pick_el文件夾下
 if imageName in pickImageName:
  pickImage = Image.open(('elpick/original_el/%s.jpg') % imageName)
  pickImage.save(("elpick/picked_el/%s.jpg") % imageName)

到此這篇關(guān)于python爬蟲篩選工作實(shí)例講解的文章就介紹到這了,更多相關(guān)python爬蟲篩選工作內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: