使用xpath提取页面所有a标签的href属性值

# -*- coding: utf-8 -*-#1.选取节点#获取所有的div元素 //div#/代表获取根节点的直接子元素#获取所有带有id属性的div //div[@id]#2.谓词(索引从1开始)#获取body下面的第一个/最后一个div元素/前两个 //body/div[1] //body/div[last()] //body/div[position<3]#获取具有class='price'属性的div标签 //div[@class='price']#3.通配符# * |#4.运算符 and or import requestsfrom lxml import etreeurl = "http://www.baidu.com"resp = requests.get(url)resp.encoding="utf-8"html = etree.HTML(resp.text)#获取所有a标签的href属性linklist = html.xpath("//a/@href")for item in linklist: print(item)

相关文章