美文网首页
Scrapy设置cookie和headers

Scrapy设置cookie和headers

作者: 骆旺达 | 来源:发表于2020-12-03 23:19 被阅读0次

1、声明Request

from scrapy.http import Request

1、设置Request的headers

 yield Request(url,headers={'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"})

2、设置Request的cookie

yield Request(url, meta={'item': i}, callback=self.parse_inner, dont_filter=True,cookies={})

3、获得cookie地址

https://www.jianshu.com/p/e2da31e29576

https://www.cnblogs.com/qiaoer1993/p/11158807.html

相关文章

网友评论

      本文标题:Scrapy设置cookie和headers

      本文链接:https://www.haomeiwen.com/subject/zqtbwktx.html