欢迎光临散文网 会员登陆 & 注册

用AngleSharp & LINQPad抓取分析博客园排行榜

2023-02-09 12:01 作者:百宝门  | 我要投稿

AngleSharp简单介绍

  1. AngleSharp 是一个 .NET库

  2. 使您能够解析基于尖括号的超文本，如 HTML、SVG、MathML、XML

  3. AngleSharp的一个重要方面是 CSS也可以解析。

  4. 同时还是开源，免费的

Github: https://github.com/AngleSharp/AngleSharp使用文档: https://anglesharp.github.io/

开发工具的推荐 LINQPad

介绍：一个小巧，打开秒速，随时能写C#，不至于灵感快速流失的小工具 下载地址：https://www.linqpad.net/有免费版，基本功能已经够用。我们公司买了它的Premium版。

AngleSharp 代码实操

实操前一些分享一些C#的知识点

如何快速发送网络请求获取到数据呢?

可以用如下： 1、HttpWebRequest 2、WebClient 3、HttpClient 4、RestSharp 5、Flurl

本期重点用 HttpClient来实现

起手式

引用NuGet包: Install-PackageAngleSharp

使用场景案例

  1. 获取博客园排行榜的Html并且解析

  1. IConfiguration config = Configuration.Default.WithDefaultLoader();

  2. string address = "https://www.cnblogs.com/aggsite/SideRight";

  3. IBrowsingContext context = BrowsingContext.New(config);

  4. IDocument document = await context.OpenAsync(address);

  5. IHtmlCollection<IElement> side_right = document.QuerySelectorAll("div");

  7. side_right.Select(m => new {

  8.        title = m.QuerySelector(".card-title a")?.TextContent,

  9.        url = m.QuerySelectorAll("ul li").Select(x => x.TextContent)

  10.       })

  11.       .Where(x => x.title != null)

  12.       .Dump();

通过上面代码快速就能分析且快速抓取博客园的排行榜，简单，快速，高效 代码少，有没有觉得 Linq语法糖配合请求一些框架的强大呢，朋友们

效果图

既然都能抓取数据了，接下来就是爬虫最重要的分析啦

2.分析博客园每天什么时候发博客看的人数最多,点赞的人数最多,星期几发文章多，哪个大佬发文章多

获取数据的方法

通过HttpClient加上Linq加上AngleSharp实现请求获取Hmtl => 保存Json => 分析Json 生成有价值的图表

  1. public void GetData()

  2. {

  3. var http = new HttpClient();

  4. var parser = new HtmlParser();

  6. File.WriteAllText(@"C:\Users\QYM\Desktop\OfficFile\BlogData.json", JsonConvert.SerializeObject(Enumerable.Range(1, 200)

  7.     .AsParallel()

  8.     .AsOrdered()

  9.     .SelectMany(page =>

  10.     {

  11.      var content = new StringContent(JsonConvert.SerializeObject(new

  12.      {

  13.       CategoryId = "808",

  14.       CategoryType = "SiteHome",

  15.       ItemListActionName = "AggSitePostList",

  16.       PageIndex = $"{page}",

  17.       ParentCategoryId = "0",

  18.       TotalPostCount = "4000"

  19.      }), Encoding.UTF8, "application/json");

  21.      var resp = http.PostAsync("https://www.cnblogs.com/AggSite/AggSitePostList", content).Result;

  23.      var document = parser.ParseDocument(resp.Content.ReadAsStringAsync().GetAwaiter().GetResult());

  26.      return document?.QuerySelectorAll("article").Select(pageContext =>

  27.      {

  28.       return new

  29.       {

  30.        Url = pageContext.QuerySelector(".post-item-text a").GetAttribute("href").Trim(),

  31.        Title = pageContext.QuerySelector(".post-item-text a").TextContent.Trim(),

  32.        Context = pageContext.QuerySelector(".post-item-text p").TextContent.Trim(),

  33.        Name = pageContext.QuerySelector("footer a").TextContent.Trim(),

  34.        DateTime = DateTime.Parse(pageContext.QuerySelector("footer .post-meta-item").TextContent),

  35.        LookOK = pageContext.QuerySelector("footer .post-meta-item+a span").TextContent.Trim(),

  36.        LookPerson = pageContext.QuerySelector("footer .post-meta-item+a+a+a span").TextContent.Trim()

  37.       };

  38.      });

  39.     }), Newtonsoft.Json.Formatting.Indented));

  40. }

效果图

获取博客园200页数据

读取数据并且调用LinqPad 自带的Chart图表方法进行分析

  1. public void ReadData()

  2. {

  3. var data = JsonConvert.DeserializeObject<List<BlogJsonData>>(File.ReadAllText(@"C:\Users\QYM\Desktop\OfficFile\BlogData.json"));

  5. Util.Chart(data

  6. .GroupBy(x => x.DateTime.Hour)

  7. .Select(x => new { Hour = x.Key, ViewCount = 1.0 * x.Sum(v => v.LookPerson) })

  8. .OrderByDescending(x => x.Hour),

  9. x => x.Hour,

  10. y => y.ViewCount, Util.SeriesType.Bar).Dump("时间段观看人数最多");

  12. Util.Chart(data

  13. .GroupBy(x => x.DateTime.Hour)

  14. .Select(x => new { Hour = x.Key, ViewCount = 1.0 * x.Sum(v => v.LookOk) })

  15. .OrderByDescending(x => x.Hour),

  16. x => x.Hour,

  17. y => y.ViewCount, Util.SeriesType.Bar).Dump("时间段点赞人数最多");

  19. Util.Chart(data

  20.  .GroupBy(x => x.DateTime.DayOfWeek)

  21.  .Select(x => new { WeekDay = x.Key, ArticleCount = x.Count() })

  22.  .OrderBy(x => x.WeekDay),

  23. x => x.WeekDay.ToString(),

  24. y => y.ArticleCount, Util.SeriesType.Bar).Dump("星期几发文章最多");

  26. Util.Chart(data

  27.  .GroupBy(x => x.Name)

  28.  .Select(x => new { UserName = x.Key, ArticleCount = x.Count() })

  29.  .OrderByDescending(x => x.ArticleCount)

  30.  .Take(9),

  31. x => x.UserName,

  32. y => y.ArticleCount,  Util.SeriesType.Bar).Dump("哪个大佬发文章比较多");

  34. }

效果图

源文件Json


分析数据的实体

  1. public class BlogJsonData

  2. {

  3. public string Url { get; set; }

  4. public string Title { get; set; }

  5. public string Context { get; set; }

  6. public string Name { get; set; }

  7. public DateTime DateTime { get; set; }

  8. public int LookOk { get; set; }

  9. public int LookPerson {get;set;}

  10. }

接下来就是见证奇迹的时候，通过分析抓取到html,保存成Json分析出一些意想不到的图表

效果图

  1. 时间段观看人数最多？ 

看来博客园一般查看人数最多的是9点->10点，说明哈哈哈，果然大家早上都是喜欢关注编程的大事呀

  1. 时间段点赞人数最多？ 

果然早起的鸟儿有虫吃，如果想要博客点赞高，那就必须早上九点 -> 10点 抓住阅读高峰期，菜鸟收获高赞，得到很多人的认可

  1. 星期几发文章最多？ 

看来星期一到星期五中发博客最多的星期一和星期二，最不想上班的两天最适合用来灵感创作写文字

  1. 哪个大佬发文章比较多? 

目测近期京东云开发者对博客园贡献很大，看了一下，质量都是很高的文章，极力推荐


标签：

用AngleSharp & LINQPad抓取分析博客园排行榜的评论 (共 条)

分享到微博请遵守国家法律