python爬蟲之生活常識解答機器人
一、前言
今天教大家如何用Python爬蟲去搭建一個「生活常識解答」機器人。
思路：這個機器人主要是依托于“阿里達摩院發(fā)布的語言模型PLUG”，通過爬蟲的方式，發(fā)送post請求（提問），然后返回json數(shù)據(jù)（回答）
二、問答平臺
這個「生活常識解答」機器人采用的是：阿里達摩院發(fā)布的語言模型PLUG（最近剛發(fā)布的，目前是測試階段）
該模型參數(shù)規(guī)模達270億，采用1TB以上高質(zhì)量中文文本訓(xùn)練數(shù)據(jù)，包括了新聞、小說、詩歌、常識問答等類型。
三、原頁面效果
這里是需要登錄阿里云賬號，登錄之后可以在網(wǎng)頁進行測試問答！
因此我們下面將通過抓包方式獲取這個問答的請求鏈接，然后在python代碼中requests發(fā)送post請求去進行提問，然后返回結(jié)果（答案）。
四、抓包
在瀏覽器里面F12，點擊network，然后點擊一下提問，獲取鏈接。
首先是發(fā)送的參數(shù)（提問）
然后是返回的json數(shù)據(jù)
因此這個數(shù)據(jù)包的相關(guān)信息（請求鏈接，參數(shù)，返回結(jié)果）我們已經(jīng)知道了，下面開始編寫python代碼
五、編寫代碼
首先是導(dǎo)入python庫和請求頭
import requests
import json
header={
'content-type':'application/json',
'cookie':'上面頁面中你自己的cookie',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3947.100 Safari/537.36',
}
經(jīng)過測試，有用的請求頭參數(shù)是上面三個（content-type、cookie、User-Agent），缺一不可。
參數(shù)（其中q是問題，length是返回答案長度，type是對應(yīng)常識問題）
q = "程序員脫發(fā)用什么洗發(fā)水好？"
data = {
'length':'128',
'type':'2',
'passage':q,
}
發(fā)送請求
url = "https://nlp.aliyun.com/otherApi/yymx/cdgmwbsc" text = requests.post(url,data = json.dumps(data),headers=header).json() print(text['res'])
返回結(jié)果
下面為了能夠多輪提問，將請求部分代碼放到循環(huán)中（如果輸入是exit則退出循環(huán)）
六、總結(jié)
今天小編主要就教大家用Python爬蟲去搭建一個「生活常識解答」機器人。
這個機器人主要是依托于“阿里達摩院發(fā)布的語言模型PLUG”，通過爬蟲的方式，發(fā)送post請求（提問），然后返回json數(shù)據(jù)（回答）。輕松實現(xiàn)多輪提問。
到此這篇關(guān)于python爬蟲之生活常識解答機器人的文章就介紹到這了,更多相關(guān)python機器人內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- Python中利用aiohttp制作異步爬蟲及簡單應(yīng)用
- Python爬蟲之線程池的使用
- python基礎(chǔ)之爬蟲入門
- python爬蟲請求庫httpx和parsel解析庫的使用測評
- Python爬蟲之爬取最新更新的小說網(wǎng)站
- 用Python爬蟲破解滑動驗證碼的案例解析
- Python爬蟲之必備chardet庫
- Python爬蟲框架-scrapy的使用
- Python爬蟲之爬取二手房信息
- python爬蟲之爬取百度翻譯
- python爬蟲基礎(chǔ)之簡易網(wǎng)頁搜集器
- Django利用Cookie實現(xiàn)反爬蟲的例子
- Python異步爬蟲實現(xiàn)原理與知識總結(jié)
相關(guān)文章
這篇文章主要介紹了使用Puppeteer爬取微信文章的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
這篇文章主要介紹了Python為何不支持switch語句原理詳解,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-10-10
這篇文章主要為大家介紹了Python 垃圾回收機制，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
這篇文章主要介紹了Python實現(xiàn)的堆排序算法,簡單描述了堆排序的原理,并結(jié)合實例形式分析了Python實現(xiàn)堆排序的相關(guān)操作技巧,代碼中備有較為詳細的注釋便于理解,需要的朋友可以參考下2017-11-11
這篇文章主要介紹了python線程池的實現(xiàn)方法，代碼簡單實用，供大家參考使用2013-11-11
Anaconda安裝之后Spyder打不開解決辦法(親測有效!)
這篇文章主要給大家介紹了關(guān)于Anaconda安裝之后Spyder打不開解決辦法,文中將解決的過程介紹的非常詳細,親測有效,對同樣遇到這個問題的朋友具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2023-04-04
Python實戰(zhàn)購物車項目的實現(xiàn)參考
今天小編就為大家分享一篇關(guān)于Python實戰(zhàn)購物車項目的實現(xiàn)參考，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-02-02
python?flappy?bird小游戲分步實現(xiàn)流程
哈嘍，哈嘍~今天小編又來分享小游戲了——flappy?bird（飛揚的小鳥），這個游戲非常的經(jīng)典，游戲中玩家必須控制一只小鳥，跨越由各種不同長度水管所組成的障礙2022-02-02
在開發(fā)過程中，配置文件是少不了的，而且配置文件是有專門的格式的，比如：ini,?yaml,?toml?等等。而對于?Python?而言，也都有相應(yīng)的庫來解析相應(yīng)格式的文件，下面我們來看看?ini?文件要如何解析2022-09-09
這篇文章主要介紹了python 實現(xiàn)多線程下載視頻的代碼,代碼簡單易懂，非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下2019-11-11