当前位置：首页 > 行业动态 > 正文

python xhr爬取

admin
行业动态
2023-12-27
2707

Python爬虫指南之XPath实例解析

python xhr爬取第1张

什么是XPath?

XPath(XML Path Language)是一种在XML文档中查找信息的语言，它可以用来在XML文档中对元素和属性进行遍历，XPath 是一种非常强大的工具，可以用于在 XML 文档中查找信息，包括但不限于：选取节点、选取属性、选取符合条件的节点等。

XPath的基本语法

XPath 的基本语法包括以下几部分：

1、节点选择：通过节点名称来选取节点。

2、谓语：用于描述节点之间的关系，如“/”、“//”、“.”、“..”等。

3、谓语参数：表示节点的属性或文本内容。

4、轴：用于指定节点的路径关系，如“ancestor”、“child”、“descendant”、“following”、“preceding”等。

5、谓语运算符：用于对节点进行筛选，如“[position()]”、“[last()]”、“[1]”等。

XPath的实际应用

下面我们通过一个实际的例子来演示如何使用 XPath 进行网页抓取，假设我们有如下的 HTML 代码：

<html>
  <head>
    <title>示例网页</title>
  </head>
  <body>
    <div id="content">
      <h1>欢迎来到示例网页</h1>
      <ul>
        <li><a href="https://www.example1.com">示例网站1</a></li>
        <li><a href="https://www.example2.com">示例网站2</a></li>
        <li><a href="https://www.example3.com">示例网站3</a></li>
      </ul>
    </div>
  </body>
</html>

我们想要获取所有的链接，可以使用如下的 XPath 表达式：

//a/@href

这个表达式的意思是：选取所有 <a> 标签下的 href 属性，运行上述代码，我们可以得到如下的结果：

['https://www.example1.com', 'https://www.example2.com', 'https://www.example3.com']

相关问题与解答

1、如何判断一个元素是否存在？

答：可以使用 if 语句结合 find() 方法来判断一个元素是否存在。find() 方法返回了一个非空的结果，说明该元素存在；否则，说明该元素不存在。

from lxml import etree
html = '''<html><body><p>这是一个段落。</p></body></html>'''
root = etree.fromstring(html)
if root.find('p') is not None:
    print("段落存在")
else:
    print("段落不存在")

2、如何获取某个元素的所有子元素？

答：可以使用 findall() 方法来获取某个元素的所有子元素。

from lxml import etree
html = '''<html><body><div id="parent"><p>这是一个段落。</p><span>这是一个跨度。</span></div></body></html>'''
root = etree.fromstring(html)
children = root.find('parent').findall('*')
for child in children:
    print(etree.tostring(child, encoding='utf-8').decode('utf-8'))

3、如何获取某个元素的所有父元素？

答：可以使用 iterancestors() 方法来获取某个元素的所有父元素。

from lxml import etree
html = '''<html><body><div id="parent"><p>这是一个段落。</p><span>这是一个跨度。</span></div></body></html>'''
root = etree.fromstring(html)
element = root.find('parent/p')
for ancestor in element.iterancestors():
    print(etree.tostring(ancestor, encoding='utf-8').decode('utf-8'))