创建虚拟环境

在这里,直接使用pip install scrapy,结果报错,如下图所示:

因此安装twisted和cryptography,最后 pip install scrapy 安装scrapy,安装成功,如下图:

创建采集项目
scrapy startproject quotes
定义spider
这里下载python编辑器pycharm,与云服务器联结,创建quotes_spider.py


这里直接展示可以翻页抓取的代码
执行爬虫
scrapy crawl quotes


存储数据
scrapy crawl quotes -o quotes1.json ,得到quotes1.json文件:

最后将其转化为xml文件

同理采集作者信息
创建authors_spider.py,再执行爬虫scrapy crawl authors,并存储数据scrapy crawl quotes -o author.json ,得到author.json文件,最后转成xml文件。




网友评论