美文网首页网络爬虫天地
今日头条爬虫分析-视频下载

今日头条爬虫分析-视频下载

作者: 探索者_逗你玩儿 | 来源:发表于2018-10-06 10:54 被阅读0次

今日头条上发布的视频都是跳转到阳光宽频这个网站,那么我们来分析一下具体该怎么爬。一样,先分析接口以及接口返回数据
https://www.toutiao.com/search_content/?offset=20&format=json&keyword=%E7%A4%BE%E5%8C%BA%E6%96%B0%E9%9B%B6%E5%94%AE&autoload=true&count=20&cur_tab=2&from=video
跟综合的接口有点差异就是cur_tab 和from这两个参数,其他的没有什么变化,该接口返回的只是相关的视频列表还没有拿到真正的视频现在地址,总之先拿到视频播放页的入口地址,接下来我们再来看如何拿到真正的播放地址。随便打开一个视频地址,然后分析网页结构,再次失望了,不过网页上采用vedio标签播放视频,不是采用流媒体播放,既然这样就存在着可能。再次分析播放页面的请求接口,发现一个有用的接口
http://ib.365yg.com/video/urls/v/1/toutiao/mp4/12531bab86f5416f8f21e1fdf1a07559?r=22820976088276734&s=1292880202&callback=axiosJsonpCallback1&_=1538793938274
这个接口用于返回视频的真实地址,查看数据结构

image.png
在vedio_list这个key值下就是我们真实的播放地址了,想想都好激动
image.png
打开一看,懵逼了,这是什么鬼,说好的地址了,直接百度了一下,好家伙,已经有大神指明了,这个main_url就是真实的地址,只不过是经过base64编码了,直接用base64解码,果然拿到了真实的地址。代码不难,所以没有系统的写代码,我们看到vedio_list中有三个值,只是针对于不同的分辨率,大家可以根据自己的需求进行获取。

相关文章

  • 今日头条爬虫分析-视频下载

    今日头条上发布的视频都是跳转到阳光宽频这个网站,那么我们来分析一下具体该怎么爬。一样,先分析接口以及接口返回数据h...

  • 今日头条下载的视频保存在哪个文件夹?

    今日头条下载的视频保存在哪里?今日头条下载的视频保存在哪个文件夹?在“今日头条”上看到好看的视频,下载保存以后,也...

  • 今日头条爬虫策略

    目标:爬取今日头条头条号王者荣耀资讯和视频。 爬虫关键点:1.分析单页面获取所需要的内容,2.找到文章列表页翻页规...

  • 利用Python3解析Ajax爬取今日头条图集

    本文内容参考来自: 1.分析Ajax抓取今日头条街拍美图 2.爬虫学习-爬取今日头条图集 今日头条街拍图集首页是利...

  • 在线视频解析下载工具(值得收藏)

    今日头条、内涵段子、西瓜视频解析下载:http://toutiao.iiilab.com/ 微博、秒拍视频解析下载...

  • Scrapy 框架

    一:回顾及下载单个视频 二:批量下载视频(动态加载) 今日头条小视频思路 (1)url = 'https://36...

  • Python网络爬虫四

    前言 我们爬虫过文本,图片,接下来应该是视频了。 例子 抓取视频资源 以头条视频为例 爬取思路 分析网页源码,查找...

  • 今日头条爬虫分析-搜索

    今天开始爬取今日头条的第二个入口搜索,搜索有四个tab分别为综合,视频,图集,用户。先来分析一下综合的搜索接口ht...

  • 气skr人!整天看那么多网站,不如看点它

    1、V视频助手 非常强大的视频下载助手,可在线下载腾讯视频、秒拍视频、微博视频、今日头条、阳光宽频网、快手、微信、...

  • 今日头条短视频分析

    前言 短视频从2015年开始走火,这把火成了创业者以及资本追捧之地,即内容创业的风口。 为什么短视频成为了风口? ...

网友评论

    本文标题:今日头条爬虫分析-视频下载

    本文链接:https://www.haomeiwen.com/subject/jrzcaftx.html