要使用Python爬取网页文本内容，可以按照以下步骤进行：
一、准备工作
安装必要库 需要安装`requests`（发送HTTP请求）、`beautifulsoup4`（解析HTML）和`lxml`（可选，加速解析）。
```bash
pip install requests beautifulsoup4 lxml
```
选择目标网站
确保目标网站允许爬取，遵守其`robots.txt`文件和使用条款。
二、核心步骤
发送HTTP请求
使用`requests`库获取网页内容，并设置编码为`utf-8`以避免乱码。
```python
import requests
url = 'https://example.com' 替换为目标网页地址
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' 模拟浏览器请求
}
response = requests.get(url, headers=headers)
response.raise_for_status() 检查请求是否成功
html_content = response.text
```
解析HTML内容
使用`BeautifulSoup`解析HTML，提取所需文本。可以通过标签名、类名或属性定位目标内容。
```python
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
示例：提取所有段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
print(p.get_text())
示例：通过类名提取
title = soup.find('title').get_text()
print(title)
```
处理特殊场景
- 动态内容： 若网页内容通过JavaScript动态加载，需使用`Selenium`或`requests-html`等工具。 - 反爬机制
三、进阶技巧
数据清洗 提取文本后，可能需要去除多余的空白、HTML标签或特殊字符。可以使用正则表达式或字符串方法处理。
```python
import re
去除HTML标签
text = re.sub(r'<.*?>', '', html_content)
去除多余空白
text = re.sub(r'\s+', ' ', text).strip()
```
存储数据
将提取的文本保存到文件（如TXT或CSV）或数据库中。
```python
with open('output.txt', 'w', encoding='utf-8') as f:
f.write(text)
```
四、注意事项
编码问题： 若网页使用非`utf-8`编码（如GBK），需在请求中指定正确编码。 法律与道德
通过以上步骤，可以高效地爬取网页文本内容。若需提取特定数据（如链接、图片等），可结合`BeautifulSoup`的`find_all`或`select`方法，或使用`lxml`的XPath功能。
