美文网首页程序员
scrapy的安装和项目创建

scrapy的安装和项目创建

作者: pillows | 来源:发表于2019-08-19 15:07 被阅读0次

1、首先安装wheel

# 安装依赖包
pip install wheel

2、然后下载驱动

https://www.lfd.uci.edu/~gohlke/pythonlibs/

下载网址(在最后面)

下载好后放到桌面,Shift cmd命令符窗口

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

安装

3、安装pywin32

pip install pywin32

4、安装pip install Scrapy

pip install Scrapy

5、创建项目

scrapy startproject ArticleSpider

scrapy startproject spider1

6、创建爬虫类

# tencentPostion为爬虫名,tencent.com为爬虫作用范围

scrapy genspider tencentPostion "tencent.com"

scrapy genspider test "tencent.com"

#自动爬虫的创建

scrapy genspider -t crawl Crawlspider domain.com

ubuntu安装scrapy

1、安装python-dev

# 这里的python需要跟python版本相同
sudo apt-get install python-dev

2、依次安装(我直接跳过了这个阶段 )

sudo apt-get install build-essential

sudo apt-get install libxml2-dev

sudo apt-get install libxslt1-dev

sudo apt-get install python-setuptools

3、最后正常安装

pip install scrapy

4、输入scrapy验证是否安装成功了

相关文章

网友评论

    本文标题:scrapy的安装和项目创建

    本文链接:https://www.haomeiwen.com/subject/ovnssctx.html