C#+HtmlAgilityPack+Dappe

C#+HtmlAgilityPack+Dappe

（转发请注明来源：http://www.cnblogs.com/EminemJK/）

　　　　最近因为公司业务需要，又有机会撸winform了，这次的需求是因为公司有项目申报的这块业务，项目申报前期需要关注政府发布的相关动态信息，政府部门网站过多，人工需要一个一个网站去浏览和查阅，有时候还会遗漏掉，因此呢，我们打算用爬虫+移动端web来做，我主要负责爬虫和web Api。

爬虫篇

　　　　爬虫主要采用.Net强大的开源解析HTML元素的类库HtmlAgilityPack，操作过XML的童鞋应该很快就可以上手，通过分析XPath来解析HTML，非常的方便的，不过还有一款不错的叫Jumony，没用过，对HtmlAgilityPack比较熟悉，所以首选了HtmlAgilityPack来作为主力军。

　　　　HtmlAgilityPack的基本使用可以参考这篇 https://www.cnblogs.com/GmrBrian/p/6201237.html，

　　　　效果图，多图慎入

采集广西财政厅例子

　　因为是政府发布的出来的信息，所以信息的对外开放的，只是机器代替人工来浏览，不会被和谐的，主要采集文章的标题、日期和文章内容，以广西财政厅网站为例子。

First

　　加载网站这个就不用说了，先查看网站的字符编码，如图 ，然后设置HtmlAgilityPack中的OverrideEncoding属性，再开始加载，不然采集到的是乱码，没有意义。

htmlAgilityPack.OverrideEncoding = Encoding.UTF8;

Second

　　　　分析文章列表，浏览器F12查看HTML标签情况，可以分析出XPath为：

//ul[@class=‘dzjzw_list_main_ul‘]//li
　　　　文章内容的链接的XPath标签：

//a
　　　　文章发布的时间XPath标签：

//span[@class=‘date‘]

示例流程代码：

复制代码
//获取第一页的内容
HtmlNode row = GetHtmlDoc(htmlWeb, url);
//根据xpath获取列表
var list = row.SelectNodes("//ul[@class=‘dzjzw_list_main_ul‘]//li");
foreach (var data in list)
{
HtmlNode node = HtmlNode.CreateNode(data.OuterHtml);
HtmlNode a = node.SelectSingleNode("//a");
HtmlNode date = node.SelectSingleNode("//span[‘date‘]");
....
}

///