初探Scrapy

作者: 爆裂键盘手 | 来源:发表于2018-03-07 22:58 被阅读0次

第一次做笔记,写得不好,请各位多多包涵。

我的操作系统是Ubuntu 16.04 LTS 64 位。Scrapy框架是基于Python写的,这里暂时不写安装Python。

Scrapy的文档:    https://doc.scrapy.org/en/latest/intro/tutorial.html

1.sudo pip install Scrapy        安装Scrapy 【注意:有可能提示没有pip,pip是一个安装和管理 Python 包的工具】

【如果安装了pip,请忽略此步骤一下步骤

a.    wget https://bootstrap.pypa.io/get-pip.py

b.     pip    【查看是否安装成功】

c.    sudo pip install Scrapy        【然后再次安装Scrapy】

2.cd /var/www    【进入到你要存放项目的目录】

3.scrapy startproject demo 【demo是项目名称】

4.打开项目,查看该目录结构如下:

图1

5.然后在spiders目录下创建quotes_spider.py文件,并添加如图代码

图2

6.然后在项目下运行,scrapy crawl quotes    【运行quotes_spider.py文件】,结果如图所示

图3

7.完成。

相关文章

  • 爬虫初探-Scrapy

    爬虫初探-Scrapy Scrapy 资料 官方文档永远是首选,建议把 tutorial 完整的过一遍。 网址:h...

  • 初探Scrapy

    第一次做笔记,写得不好,请各位多多包涵。 我的操作系统是Ubuntu 16.04 LTS 64 位。Scrapy框...

  • scrapy初探

    scrapy scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。可以应用在包括数据挖掘,信息处理...

  • Scrapy 初探

    读者最好对 Python 和爬虫有一些了解,所以关于 Scrapy 一些信息比如如何安装的方法等我就不介绍了。 ...

  • scrapy 源代码阅读笔记(0)-- 背景

    初探 scrapy可以服务与中小型爬虫项目,异步下载性能很出色,(50M电信,scrapy单进程,半小时,最高纪录...

  • scrapy架构初探

    scrapy架构初探 引言 Python即时网络爬虫启动的目标是一起把互联网变成大数据库。单纯的开放源代码并不是开...

  • 四、初探scrapy框架

    一个完整的爬虫程序,应该包含五个部分,分别是负责url链接管理的URL管理器,负责获取网络数据的Downloade...

  • 1.scrapy初探

    scrapy帮助命令: scrapy -h 使用scrapy创建一个爬虫项目 第一步:先确定在哪个目录下创建,假如...

  • scrapy初探(一)框架

    框架 以下是scrapy的框架,绿色箭头表示数据流向。 一、详细介绍: scrapy Engine爬虫引擎负责控制...

  • scrapy初探(二)实例

    1.新建scrapy工程 命令行下执行 生成目录如下: 主要文件介绍,items.py:用来定义要抓取的内容pip...

网友评论

    本文标题:初探Scrapy

    本文链接:https://www.haomeiwen.com/subject/cfosfftx.html