爬虫遇到301或302重定向可以用urllib请求,用requests请求返回的301重定向,换用urllib请求后重定向也能解决。
import urllib.request
from lxml import etree
def ll():
url = 'https://www.baidu.com/'
html = urllib.request.urlopen(url)
content = html.read()
print(content) #此时的content是bates类型
cont = etree.HTML(content.decode('utf-8'))
title = cont.xpath('//title/text()')
print(title)
ll()
网友评论