美文网首页
urlretrieve方法 直接将远程数据下载到本地。

urlretrieve方法 直接将远程数据下载到本地。

作者: 是东东 | 来源:发表于2019-04-17 23:59 被阅读0次

urlretrieve方法
直接将远程数据下载到本地。
将html抓取到本地,保存在当前文件中,同时显示下载的进度。

from urllib.request import urlretrieve
import os


def callbackfunc(blocknum, blocksize, totalsize):
    """
    回调函数
    @blocknum: 已经下载的数据块
    @blocksize: 数据块的大小
    @totalsize: 远程文件的大小
    """
    percent = 100.0 * blocknum * blocksize / totalsize
    if percent > 100:
        percent = 100
    print("%.2f%%" % percent)

url = '[https://www.cnblogs.com/qun542110741/p/9221040.html](https://www.cnblogs.com/qun542110741/p/9221040.html)
'
local = os.getcwd() + '\\torrent.tar'
urlretrieve(url, local, callbackfunc)

参数说明:

urllib.urlretrieve(url[, filename[, reporthook[, data]]])
url:外部或者本地url
filename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据);
reporthook:是一个回调函数,当连接上服务器会触发该回调。利用这个回调函数来显示当前的下载进度。
data:指post到服务器的数据。该方法返回一个包含两个元素的元组(filename, headers),filename表示保存到本地的路径,header表示服务器的响应头。

相关文章

  • urlretrieve方法 直接将远程数据下载到本地。

    urlretrieve方法直接将远程数据下载到本地。将html抓取到本地,保存在当前文件中,同时显示下载的进度。 ...

  • Git 结合远程代码仓库使用

    将远程的代码下载到本地 进入存放代码的目录,输入命令 修改了代码,同步到远程库上 远程库同步到本地 同步下来的代码...

  • Centos下 sshfs将远程目录挂载到本地

    公司项目之前用的是php5.4+yaf,现在用户量暴增,服务器性能损耗严重,加了几台服务器,但也不能一有性能问题就...

  • 服务器备份

    oracle 本地备份 将本地备份文件备份到远程(局域网): mongodb用了另一种备份思路,直接远程备份数据库...

  • 如何备份远程 MySQL 数据到本地

    如何备份远程 MySQL 数据到本地? 对于远程的 MySQL 数据库,如何定期将数据备份到本地呢?对于需要远程备...

  • 使用crontab定时下载上传文件

    最近在做一个功能,就是定时将本地文件上传给远程FTP,或者定时将远程FTP的文件下载到本地 ,当时想到了是在代码中...

  • python爬虫——urllib实战

    1.urllib基础:urlretrieve():可以一次性将某一个网页直接爬到本地例1: urlcleanup(...

  • Git提交代码的流程

    pull:是下拉代码,相等于将远程的代码下载到你本地,与你本地的代码合并 push:是推代码,将你的代码上传到远程...

  • git 的使用方法

    pull:是下拉代码,相等于将远程的代码下载到你本地,与你本地的代码合并 push:是推代码,将你的代码上传到远程...

  • (四)常用命令

    一、仓库相关 git clone url将远程仓库下载到本地 git init把当前目录初始化为git本地仓库。 ...

网友评论

      本文标题:urlretrieve方法 直接将远程数据下载到本地。

      本文链接:https://www.haomeiwen.com/subject/hijawqtx.html