Screaming Frog SEO Spider for Mac(网络爬虫开发工具)
Screaming Frog SEO Spider for Mac一款非常优秀的网络爬虫软件，可以使用代理服务器，创建站点地图并使用 XML 扩展将其保存到 HDD，并生成与爬网概述、重定向链和规范错误有关的多个报告。Spider的抓取方式可以分为Spider与URL，简单点理解就是一个你可以放一个页面或域名开始抓取，另外一个则是放一个url文件进去抓取！需要的朋友快来下载使用吧。
复制到浏览器👉：https://www.macz.com/mac/1009.html?id=MTA4Mjk5OSZfJjI3LjE4Ni4xMjcuNTE%3D
清晰的 GUI
您遇到的界面可能看起来有点杂乱，因为它由一个菜单栏和多个显示各种信息的选项卡式窗格组成。但是，开发人员的网站上提供了全面的用户指南和一些常见问题解答，这将确保高级用户和新手用户都可以轻松找到解决方法，而不会遇到任何问题。
查看内部和外部链接，过滤和导出它们
可以分析指定的 URL，并在单独的选项卡中查看内部和外部链接列表。第一个带有详细信息，例如地址，内容类型，状态代码，标题，元描述，关键字，大小，字数，级别，哈希和外部链接，而后者仅显示地址，内容，状态等信息，水平和链接。
两者都可以根据 HTML、javascript、CSS、图像、PDF、Flash 或其他坐标进行过滤，同时可以将它们导出为 CSV、XLS 或 XLSX 格式。
查看更多详细信息和图表，并生成报告
除此之外，您还可以检查多个链接的响应时间、查看页面标题、它们的出现、长度和像素宽度。可以查看带有元关键字及其长度、标题和图像的巨大列表。
主窗口中还提供了某些情况的图形表示，以及分析的所有 SEO 元素的文件夹结构，以及与网站深度和平均响应时间有关的统计数据。
可以使用代理服务器，创建站点地图并使用 XML 扩展将其保存到 HDD，并生成与爬网概述、重定向链和规范错误有关的多个报告。
底线
总而言之，Screaming Frog SEO Spider 对于那些有兴趣从 SEO 角度分析其网站的人来说是一款高效的软件。该界面需要一些习惯，响应时间很好，我们没有遇到任何错误或错误。
CPU 和内存使用率不是特别高，这意味着计算机的性能在大多数情况下不会受到影响。
Screaming Frog SEO Spider for Mac快速摘要
错误 - 客户端错误，例如链接断开和服务器错误（无响应，4XX，5XX）。
重定向 - 永久，临时重定向（3XX响应）和JS重定向。
阻止的网址 - robots.txt协议不允许查看和审核网址。
阻止的资源 - 在呈现模式下查看和审核被阻止的资源。
外部链接 - 所有外部链接及其状态代码。
协议 - URL是安全的（HTTPS）还是不安全的（HTTP）。
URI问题 - 非ASCII字符，下划线，大写字符，参数或长URL。
重复页面 - 哈希值/ MD5checksums算法检查完全重复的页面。
页面标题 - 缺失，重复，超过65个字符，短，像素宽度截断，与h1相同或多个。
元描述 - 缺失，重复，超过156个字符，短，像素宽度截断或多个。
元关键字 - 主要供参考，因为它们不被谷歌，必应或雅虎使用。
文件大小 - 网址和图片的大小。
响应时间。
最后修改的标题。
页面（抓取）深度。
字数。
H1 - 缺失，重复，超过70个字符，多个。
H2 - 缺失，重复，超过70个字符，多个。
元机器人 - 索引，无索引，跟随，nofollow，noarchive，nosnippet，noodp，noydir等。
元刷新 - 包括目标页面和时间延迟。
规范链接元素和规范HTTP标头。
X-Robots-Tag中。
分页 - rel =“next”和rel =“prev”。
关注＆Nofollow - 在页面和链接级别（真/假）。
重定向链 - 发现重定向链和循环。
hreflang属性 - 审核缺少的确认链接，不一致和不正确的语言代码，非规范的hreflang等。
AJAX - 选择遵守Google现已弃用的AJAX抓取方案。
渲染 - 通过在JavaScript执行后抓取渲染的HTML来抓取像AngularJS和React这样的JavaScript框架。
Inlinks - 链接到URI的所有页面。
Outlinks - URI链接到的所有页面。
锚文本 - 所有链接文本。从带有链接的图像中替换文本。
图像 - 具有图像链接的所有URI和来自给定页面的所有图像。图像超过100kb，缺少替代文字，替代文字超过100个字符。
用户代理切换器 - 抓取Googlebot，Bingbot，Yahoo！Slurp，移动用户代理或您自己的自定义UA。
自定义HTTP标头 - 在请求中提供任何标头值，从Accept-Language到cookie。
自定义源代码搜索 - 在网站的源代码中找到您想要的任何内容！无论是谷歌分析代码，特定文本还是代码等。
自定义提取 - 使用XPath，CSS路径选择器或正则表达式从URL的HTML中删除任何数据。
Google Analytics集成 - 连接到Google AnalyticsAPI并在抓取过程中直接提取用户和转化数据。
Google Search Console集成 - 连接到Google Search Analytics API并针对网址收集展示次数，点击次数和平均排名数据。
外部链接度量标准 - 将Majestic，Ahrefs和Moz API中的外部链接指标拖入爬行以执行内容审核或配置文件链接。
XML站点地图生成 - 使用SEO蜘蛛创建XML站点地图和图像站点地图。
自定义robots.txt - 使用新的自定义robots.txt下载，编辑和测试网站的robots.txt。
渲染的屏幕截图 - 获取，查看和分析已爬网的渲染页面。
存储和查看HTML和呈现的HTML - 分析DOM的必要条件。
AMP抓取和验证 - 使用官方集成的AMP Validator抓取AMP网址并对其进行验证。
XML站点地图分析 - 单独爬网XML站点地图或爬行的一部分，以查找丢失的，不可索引的和孤立的页面。
可视化 - 使用爬网和目录树强制导向图和树图分析网站的内部链接和URL结构。
结构化数据和验证 - 根据Schema.org规范和Google搜索功能提取和验证结构化数据。
拼写和语法– 用超过 25 种不同语言检查您的网站的拼写和语法。
抓取比较- 比较抓取数据以查看问题的变化和跟踪技术 SEO 进度的机会。比较站点结构，检测关键元素和指标的变化，并使用 URL 映射将临时站点与生产站点进行比较。
