美文网首页
爬虫遇到301或302重定向可以用urllib请求

爬虫遇到301或302重定向可以用urllib请求

作者: 沫明 | 来源:发表于2021-01-08 20:15 被阅读0次

爬虫遇到301或302重定向可以用urllib请求,用requests请求返回的301重定向,换用urllib请求后重定向也能解决。

import urllib.request
from lxml import etree
def ll():
  url = 'https://www.baidu.com/'
  html = urllib.request.urlopen(url)
  content = html.read()
  print(content)   #此时的content是bates类型
  cont = etree.HTML(content.decode('utf-8')) 
  title = cont.xpath('//title/text()')
  print(title)
ll()

相关文章

网友评论

      本文标题:爬虫遇到301或302重定向可以用urllib请求

      本文链接:https://www.haomeiwen.com/subject/wpafaktx.html