每周一，我们爬取京东、当当、互动出版网和中国图书网的图书7日销量数据，并做一份销量排行榜已经有一段时间了，从后台阅读量的统计数据来看，对辅助大家选购计算机类书籍还是有帮助的。如果大家对这份排行榜有什么新的玩儿法，可以给我留言，大家相互交流，选择好想法，我来代码实现啊。
今天我就为大家介绍一下如何利用 C#语言 爬取「中国图书网 - 计算机与互联网图书销量榜」的数据。
首先，我们来确定爬取网页的地址。
中图原网页
通过观察，我们发现该畅销榜由多个页面构成，第一页的网址如下：
http://www.bookschina.com/24hour/27000000/7_0_1/
第二页的网址如下：
http://www.bookschina.com/24hour/27000000/7_0_2/
可见，页码由最后一位数字决定，这样我们就确定了爬取网页的 Url 地址。
其次，我们看一下网页的 HTML 源码，以便寻找数据的具体位置。
中图源代码
从源码中，我们可以发现图书的信息存放在 boolList 类的 li 标签内，通过遍历每个 li 标签内的数据我们可以得到每本书的书名、作者、出版社数据。
最后，我们选择开源的 Jumony 工具，来获取所爬取网页的 HTML DOM TREE。该工具可在 Git 上下载，对应网址为：
https://github.com/Ivony/Jumony
Jumony下载
关于 Jumony 的使用，我在这里就不详细说明了，要是有读者对这套开源代码感兴趣，接下来我再写几篇图文来介绍这个工具。
分析部分，到此就介绍完了，下面来看具体的代码实现。
1. 构造存储图书的结构 Book，包括销量排名，书名，作者，出版社等。
public class Book
{
/// <summary>
/// 获取或设置 销量排名
/// </summary>
public int Num { get; set; }
/// <summary>
/// 获取或设置 书名
/// </summary>
public string Title { get; set; }
/// <summary>
/// 获取或设置 作者
/// </summary>
public string Author { get; set; }
/// <summary>
/// 获取或设置 出版社
/// </summary>
public string Press { get; set; }
/// <summary>
/// Book实例的格式化输出
/// </summary>
/// <returns>Markdown格式文本</returns>
public override string ToString()
{
string num = Num.ToString().PadLeft(2, '0');
string temp = "**Top" + num + "：" + Title.Trim() + "**"
+ Environment.NewLine
+ "- 作 者：" + Author + Environment.NewLine
+ "- 出版社：" + Press;
return temp;
}
}
2. 根据网址，获取「中国图书网 - 计算机与互联网图书销量榜」网页的 HTML DOM TREE。
public static IHtmlDocument GetHtmlDocumentZt(int page)
{
string url = @"http://www.bookschina.com/24hour/27000000"
+ @"/7_0_"
+ page
+ @"/";
IHtmlDocument document;
try
{
document = new JumonyParser().LoadDocument(url);
}
catch
{
document = null;
}
return document;
}
3. 获取「中国图书网 - 计算机与互联网图书销量榜」的图书集合List<Book>。
public static List<Book> GetBooksZt(int page)
{
IHtmlDocument doc = GetHtmlDocumentZt(page);
if (doc == null)
return null;
List<Book> result = new List<Book>();
List<IHtmlElement> lists = doc.Find(".bookList li").ToList();
int count = lists.Count <= 20 ? lists.Count : 20;
for (int i = 0; i < count; i++)
{
Book book = new Book();
book.Num = i + 1;
List<IHtmlElement> title = lists[i].Find(".name a").ToList();
book.Title = title[0].InnerHtml().Trim(); //得到书的名字
List<IHtmlElement> author = lists[i].Find(".author a").ToList();
book.Author = author[0].InnerHtml().Trim(); //得到作者的名字
List<IHtmlElement> press = lists[i].Find(".publisher a").ToList();
book.Press = press[0].InnerHtml().Trim(); //得到出版者的名字
result.Add(book);
}
return result;
}
4. 获取「中国图书网 - 计算机与互联网图书销量榜」的 Markdown 格式文本。
private string GetReport(string name, List<Book> lst)
{
string result = Environment.NewLine + "---" + Environment.NewLine
+ "### " + name + Environment.NewLine;
for (int i = 0; i < lst.Count; i++)
{
result += Environment.NewLine + lst[i] + Environment.NewLine;
}
return result;
}
5. 对 Markdown 格式文本进行 HTML 渲染。
渲染结果
构成每周一推送图文的所有技术内容就全部介绍完了，我做了一个 WinForm 窗体来集成这些代码，由于是辅助自己写图文来用的，样子有些丑啊。勿嫌弃！！！
今天就到这里吧！See You！
软件截图
推荐阅读
网友评论