美文网首页
爬虫子从0开始(一)

爬虫子从0开始(一)

作者: 会武功的蚊子 | 来源:发表于2017-08-09 10:56 被阅读0次

爬虫子前我们先下载一些相关的

Miniconda、pycharm、docker

下载pycharm地址

http://www.jetbrains.com/pycharm/download/

安装pycharm

注册码地址
http://idea.lanyus.com

填写完注册码报下面的错点击下面链接
http://www.jianshu.com/p/db16b3e47191

7B008BD7-411F-4B01-A19E-83B337E8B366.png

下载Miniconda地址

https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/

mac端
在终端: bash 刚刚下载Miniconda的目录

A2263522-D470-4CDA-A0C7-BDF1EC19634F.png

windows端下载完直接双击安装然后配置一下环境变量
执行下面代码检查conda有没有安装好

$ : conda -V                                                                 
conda 4.3.22 #conda版本

windows下“conda不是内部或者外部命令”点击下面解决方案

http://blog.csdn.net/u011361880/article/details/75294226
### 切换一下Conda 三方源
- Conda Forge
 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

如有ananconda源问题点击下面链接
http://www.jianshu.com/p/3bec6ad26c18

将anaconda的bin目录加入PATH,根据版本不同,也可能是~/anaconda3/bin

echo 'export PATH="~/anaconda3/bin:$PATH"' >> ~/.bashrc

更新bashrc以立即生效

source ~/.bashrc

Conda的环境管理

Conda的环境管理功能允许我们同时安装若干不同版本的Python,并能自由切换环境来切换python版本。

创建一个名为MyPython的环境,指定Python版本是3(conda会为我们自动寻找3.x中的最新版本)
conda create --name/-n MyPython python=3
### 安装好后,使用activate激活某个环境
source activate MyPython

安装好后,使用deactivate失效某个环境

source deactivate MyPython

此时,再次输入

python --version/-V
Python 3.6.2

切换python版本

 source activate 环境名字  

删除一个已有的环境

conda remove --name MyPython --all

检验一下简单的代码用jupyter

conda install jupyter

爬虫的框架

pip install scrapy

下载docker地址

https://dev.aliyun.com/search.html
先登录然后点击管理中心

windows端检查一下自己的系统版本如果是家庭版/教育版需要通过docker >toolbox安装docker

https://www.docker.com/products/docker-toolbox
如何用docker toolbox安装docker
http://www.cnblogs.com/linjj/p/5606687.html

下载完docker

把专属的加速地址复制下来


C4E3B6EB-5349-4EF3-8024-1AC34F1FD55C.png

启动docker

25122591-38FF-40A9-92FE-031F1F29C52B.png

把刚才复制的加速地址添加到最下面


29EAECDA-3805-49C6-B3D8-513825A0B45E.png

然后点击apply & restart 按钮

相关文章

  • 爬虫子从0开始(一)

    爬虫子前我们先下载一些相关的 Miniconda、pycharm、docker 下载pycharm地址 http:...

  • 爬虫子从0开始(二)

    需要爬虫用到的相关软件都下好了,下面我们开始爬虫,我们首先要先创建一个项目scrapy框架已经给出了命令行创建项目...

  • 华夏五千年的文明

    我的身上突然爬来了很多小煤球一样的虫子,它们从我的脚开始爬,就要爬满全身了。 起先以为,这些虫子会...

  • 从0开始

    不想再碌碌无为继续这么混下去了好嘛

  • 从0开始

    空杯心态,说着容易做着难。 当我们从有了孩子的欣喜若狂,到孩子第一天上幼儿园的充满希望,然后到小学三四年级的开始纠...

  • 从0开始

    当一家公司开始招聘专业安全人员的时候,意味着安全对这家公司已经比较重要了,比如曾发生一些入侵或者信息泄漏等安全事件...

  • 从0开始

    The best time to plant a tree is twenty years ago. The se...

  • 从0开始

    接触简书已经半年多了,最初是在看一些公众号的文章时偶然间看到了简书,这个集读文写文于一身的平台,早早的就下了这个软...

  • 从0开始

    写作是我的短板,一直以来都想突破但都在得过且过,没有行动,希望从今天开始学习,跟大家一起努力加油,成为更好的自己!

  • 从0开始

    现在生活已经慢慢进入正轨,而我却在迷茫。我的这种迷茫和否定不知跟谁去说,又不知从何说起。 目前跟家人,朋友,没有一...

网友评论

      本文标题:爬虫子从0开始(一)

      本文链接:https://www.haomeiwen.com/subject/gdufrxtx.html