Python爬虫学习笔记

下面是一段定向爬虫代码，用于爬取中国大学排名，并打印前二十个大学的信息
代码来自北京理工大学的在线课程《Python网络爬虫与信息提取》

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "lxml")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[2].string])

def printUnivList(ulist, num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2017.html"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)

main()

这段代码包含了四个函数

• getHTMLText()
  用于获取HTML源代码内容
• fillUnivList()
  用于提取源代码内容中有用的部分
• printUnivList()
  用于将提取到的有用内容打印出来
• main()
  主函数，整合以上三个函数，实现目标功能

1.getHTMLText()

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

r = requests.get(url, timeout = 30)使用requests库的get方法，设定timeout为30秒，得到一个名为r的Response对象
r.raise_for_status在连接失败时会返回一个异常，此时将直接跳转到except下执行return ""语句，以此保证代码的稳定性
r.encoding = r.apparent_encoding一般而言apparent_encoding判断的编码格式更准确，因此本句将r.encoding赋值r.apparent_encoding
return r.text返回url对应网页的内容

2.fillUnivList()

def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "lxml")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[2].string])

soup = BeautifulSoup(html, "lxml")使用lxml解析器解析html内容，此处也可以使用html.parser

<tbody class="hidden_zhpm" style="text-align:center;">
                <tr class="alt"><td>1<td><div align="left">清华大学</div></td><td>北京</td><td>94.0 </td><td class="hidden-xs need-hidden indicator5">100.0 

查看网页源代码，我们发现大学信息在tbody标签下，每个tr标签对应一所大学，tr标签下的td标签则对应大学的各项信息
因此我们在解析出的内容soup中找到tbody标签的各个子节点即tr，由于一些文本内容也属于节点，我们用if isinstance(tr, bs4.element.Tag)语句对tr的类型进行判断，确保tr是标签
tds = tr('td')将在tr下找到所有td标签内容并以列表形式存入tds
ulist.append([tds[0].string, tds[1].string, tds[2].string])将tds的前三个内容存入ulist
注意此处的ulist是一个多维列表，其包含数个含有三个元素的列表

3.printUnivList()

def printUnivList(ulist, num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)))

print(tplt.format("排名","学校名称","总分",chr(12288)))格式化打印表头，chr(12288)是中文空格，用于填补空缺，防止由于中英文占位不同引起格式混乱
做循环print(tplt.format(u[0],u[1],u[2],chr(12288)))打印各个学校的信息

4.main()

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2017.html"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)

html = getHTMLText(url)使用getHTMLText()方法获取url的网页源码内容，存入html变量
fillUnivList(uinfo, html)使用fillUnivList()方法填充uinfo列表
printUnivList(uinfo, 20)打印前二十个大学的信息