python 如何访问网页

在 Python 中，可以使用多种方法访问网页，以下是一些常见的方法：

1、使用 requests 库

requests 是一个常用的 HTTP 客户端库，可以用来发送 HTTP 请求并获取响应。

安装 requests 库：

pip install requests

示例代码：

import requests
url = 'https://www.example.com'
response = requests.get(url)
print(response.text)

2、使用 urllib 库

urllib 是 Python 的标准库之一，可以用来处理 URL，它包含四个模块：urllib.request、urllib.error、urllib.parse 和 urllib.robotparser。

示例代码：

import urllib.request
url = 'https://www.example.com'
response = urllib.request.urlopen(url)
print(response.read().decode('utf8'))

3、使用 BeautifulSoup 解析 HTML

BeautifulSoup 是一个用于解析 HTML 和 XML 的库，可以方便地提取网页中的信息，需要先安装 beautifulsoup4 和 lxml 库。

安装库：

pip install beautifulsoup4 lxml

示例代码：

from bs4 import BeautifulSoup
import requests
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
提取所有的段落标签（<p>）并打印文本内容
for p in soup.find_all('p'):
    print(p.get_text())

4、使用 Selenium 模拟浏览器操作

Selenium 是一个自动化测试工具，可以模拟用户操作浏览器，需要先安装 selenium 库和对应的浏览器驱动。

安装库：

pip install selenium

示例代码：

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
url = 'https://www.example.com'
driver = webdriver.Firefox()  # 使用 Firefox 浏览器，需要先安装对应驱动并添加到系统路径中
driver.get(url)
time.sleep(5)  # 等待页面加载完成，可以根据实际情况调整时间间隔
print(driver.page_source)  # 打印网页源代码，类似于 requests 的 text 属性，但包含了 JavaScript 渲染的内容
driver.quit()  # 关闭浏览器窗口并退出 Selenium WebDriver，不再需要时记得调用 quit() 方法释放资源