python程序2：网页爬虫

网页爬虫是一种程序，它可以模拟人类浏览器的行为，向目标网站发送请求，获取网页内容，再通过解析网页内容提取有用信息。这个过程就像我们在浏览器中打开一个网页，然后查看网页的内容一样。

为了实现这个过程，我们需要使用一些工具。其中一个常用的工具是 requests 模块。这个模块可以帮助我们发送 HTTP 请求，并且自动处理连接池、认证、Cookies 等方面的细节。我们可以使用这个模块发送 GET、POST、PUT、DELETE 等请求，并且可以自定义请求头、请求体等信息。

举个例子，如果我们想要从一个电商网站上爬取商品信息，我们可以使用 requests 模块向这个网站发送请求，获取网页内容。然后，我们可以使用一些技术（比如正则表达式或者解析库）来解析网页内容，提取出我们需要的商品信息（比如商品名称、价格、评价等等）。最后，我们可以将这些信息保存到本地文件或者数据库中，以便后续分析和使用。

总之，网页爬虫和 requests 模块是实现网页爬取的两个重要工具。它们可以帮助我们获取网页内容，并且提取有用信息。

按上面代码测试输出。

能够自动检测URL和爬取的html类型是否正确，错误后会返回重新输入。爬取类型包括：div/li/a/link/meta/img/p/ul,等等，在当文件夹下生成文本文件result.txt，我们打开看一下。

简单的实现原理就是上面啦，然后就用pyinstaller封装生成exe文件就可。

需要源码的同学请留言或私信联系我。