import os
import requests
from bs4 import BeautifulSoup

# 聲明請求頭
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'
}

# 創(chuàng)建保存小說文本的文件夾
if not os.path.exists('./小說'):
    os.mkdir('./小說/')
    
# 訪問網站并獲取頁面數據
response = requests.get('http://www.biquw.com/book/1/').text
print(response)

#### 重新編寫訪問代碼
```python
response = requests.get('http://www.biquw.com/book/1/')
response.encoding = response.apparent_encoding
print(response.text)

'''
這種方式返回的中文數據才是正確的
'''

'''
根據上圖所示，數據是保存在a標簽當中的。a的父標簽為li，li的父標簽為ul標簽，ul標簽之上為div標簽。所以如果想要獲取整個頁面的小說章節(jié)數據，那么需要先獲取div標簽。并且div標簽中包含了class屬性，我們可以通過class屬性獲取指定的div標簽，詳情看代碼~
'''
# lxml: html解析庫 將html代碼轉成python對象，python可以對html代碼進行控制
soup = BeautifulSoup(response.text, 'lxml')
book_list = soup.find('div', class_='book_list').find_all('a')
# soup對象獲取批量數據后返回的是一個列表，我們可以對列表進行迭代提取
for book in book_list:
    book_name = book.text
    # 獲取到列表數據之后，需要獲取文章詳情頁的鏈接，鏈接在a標簽的href屬性中
    book_url = book['href']

book_info_html = requests.get('http://www.biquw.com/book/1/' + book_url, headers=headers)
book_info_html.encoding = book_info_html.apparent_encoding
soup = BeautifulSoup(book_info_html.text, 'lxml')

info = soup.find('div', id='htmlContent')
print(info.text)

with open('./小說/' + book_name + '.txt', 'a', encoding='utf-8') as f:
    f.write(info.text)