抓取静态页面
静态页面中的数据都包含在网页的HTML中（一般都是get请求）
所需要的包解读
requests为常见网络请求包
lxml解析生成xml对象
xpath是一门在 XML 文档中查找信息的语言
- requests包使用get方法
requests.get(url).text
requests使用连接: http://2.python-requests.org/zh_CN/latest/user/quickstart.html - xpath语法
nodename 选取此节点的所有子节点。
/ 从根节点选取。
// 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。
. 选取当前节点。
.. 选取当前节点的父节点。
@ 选取属性。
例子 '//div[@class="content"]//text()'
xpath语法参考: https://www.w3school.com.cn/xpath/index.asp
静态网页抓取文章(网易新闻)
我们以网易新闻一个新闻页为例子，文章抓取
下面的代码是解析一篇网易文章并存储，通过xpath解析从网页静态源码中获取
#coding=utf-8
import requests
from lxml import etree
import json
class WangyiCollect():
def __init__(self,url):
self.url = url
def responseHtml(self):
#获取网页源码
content = requests.get(url=self.url).text
#初始化生成一个XPath解析对象
html = etree.HTML(content)
#提取文章页内容,采用xpath解析方式
title = html.xpath('//h1/text()')[0]
pubTime = html.xpath('//div[@class="post_time_source"]/text()')[0].replace('来源:', '').strip()
pubSource = html.xpath('//a[@id="ne_article_source"]/text()')[0]
contentList = html.xpath('//div[@id="endText"]/p//text() | //div[@id="endText"]//img/@src')
newContentList = []
for paragraph in contentList:
newparagraph = paragraph
if paragraph.endswith('.jpg') or paragraph.endswith('.png') or paragraph.endswith('.gif') or paragraph.startswith('http'):newparagraph = '<br/><img src="' + paragraph + '" alt=""><br /><br />'
newContentList.append(newparagraph)
content = ''.join(newContentList)
#存储文章内容,存储格式为json格式
articleJson = {}
articleJson['title'] = title
articleJson['pubTime'] = pubTime
articleJson['pubSource'] = pubSource
articleJson['content'] = content
print(json.dumps(articleJson,ensure_ascii=False))
#之前为字典，需要转成json的字符串
strArticleJson = json.dumps(articleJson,ensure_ascii=False)
self.writeFile(strArticleJson)
#写入文本文件
def writeFile(self,text):
file = open('./wangyiArticle.txt','a',encoding='utf-8')
file.write(text+'\n')
if __name__=="__main__":
wangyiCollect = WangyiCollect('http://bj.news.163.com/19/0731/10/ELDHE9I604388CSB.html')
wangyiCollect.responseHtml()
抓取动态加载网页
结构化数据：json，xml等
动态页面和静态页面最主要的区别就是当数据刷新的时候用了ajax技术，刷新时从数据库查询数据并重新渲染到前端页面，数据都存储在网络包中，爬取HTML是获取不到数据的
抓取这种动态页面常见的有两种方式：
1.抓取网络请求包
请求接口一些需要传参数，需要破解参数，这个在以后的博客中会写到，破解js和破解参数
image.png
通过chrome 抓包可以看到右边网络包中文章的数据通过包来传输
取出网络包的地址请求数据,里面是json格式的数据片段
{
"title":"智能垃圾回收机重启 居民区里遇冷",
"digest":"",
"docurl":"[http://bj.news.163.com/19/0729/10/EL8DU15104388CSB.html](http://bj.news.163.com/19/0729/10/EL8DU15104388CSB.html)",
"commenturl":"[http://comment.tie.163.com/EL8DU15104388CSB.html](http://comment.tie.163.com/EL8DU15104388CSB.html)",
"tienum":"0",
"tlastid":"",
"tlink":"",
"label":"",
"keywords":[
{
"akey_link":"/keywords/5/0/5c0f9ec472d7/1.html",
"keyname":"小黄狗"
},
{
"akey_link":"/keywords/5/d/56de6536673a/1.html",
"keyname":"回收机"
}
],
"time":"07/29/2019 10:39:26",
"newstype":"article",
"imgurl":"[http://cms-bucket.ws.126.net/2019/07/29/3df7d178db854a33ac04c69d99dcf398.jpeg](http://cms-bucket.ws.126.net/2019/07/29/3df7d178db854a33ac04c69d99dcf398.jpeg)",
"add1":"",
"add2":"",
"add3":"",
"pics3":[
],
"channelname":"bendi"
}
取json数据
#coding=utf-8
import requests,json
content = requests.get('https://house.163.com/special/00078GU7/beijign_xw_news_v1_02.js?callback=data_callback').text
#取出来的为json字符串
jsonArticle = content.split('data_callback(')[1].rstrip(')')
#将json字符串转为字典格式
dictArticleList = json.loads(jsonArticle)
for dictArticle in dictArticleList:
#取出title
title = dictArticle['title']
print(title)
2.无头浏览器渲染
- selenium
selenium 为浏览器测试框架，可以调用浏览器webdriver模拟浏览器操作，Chrome_options.add_argument('--headless')设为无头模式，可以不弹出浏览器窗口
drive.get(url),url为网页url
下面的例子取得是网易电影: http://public.163.com/#/list/movie
selenium+chrome
#coding=utf-8
from selenium import webdriver
Chrome_options = webdriver.ChromeOptions()
Chrome_options.add_argument('--headless')
drive = webdriver.Chrome(chrome_options=Chrome_options)
drive.get('http://public.163.com/#/list/movie')
html = drive.page_source
print(html)
drive.quit()
网友评论