通过网络爬虫实现批量自动下载天文观测证认图(PAN-STARRS1和SDSS为例)

目录

• 前言

• 爬虫程序PAN-STARRS1示范

• 一、导入依赖包

• 二、读取本地星表

• 提取星表中的RA和DEC

• 三、生成对应的PAN-STARRS1图像网站

• 四、爬虫伪装浏览器

• 五、批量爬虫

• 下面是SDSS DR16示范，解释同上

• 一、二程序不变

• 三、生成对应的SDSS DR16图像网站

• 四、爬虫伪装浏览器

• 五、批量爬虫

• 结语

前言

如果你有很多需要观测的天体，需要在观测计划中陈列相应的证认图，或者你有很多感兴趣的天体，想看看他们的图像，那这篇文章或许对你有用。

以SDSS DR16和PAN-STARRS1证认图网站的爬虫为例，这两个望远镜并不能观测全天，但可以在光学波段观测大部分天区了，其他望远镜的网站爬虫程序可以参考本程序改写。

相应的观测网站通过输入RA和DEC坐标得到相应的图像，因此本爬虫也通过自己星表的RA和DEC来识别输入。

参照本文可以通过Python实现自动爬取大量天体的证认图，从网站中提取证认图网站，自动下载到本地并保存为图片格式

爬虫程序PAN-STARRS1示范

一、导入依赖包

二、读取本地星表

如果是fits文件可以导入astropy来读取

提取星表中的RA和DEC

三、生成对应的PAN-STARRS1图像网站

这里根据PAN-STARRS1的网站构造，根据每个天体的RA和DEC生成相应的网站

我这里只用到了g和z波段的数据，有需要更多波段的只需要将其它波段选上，然后把相应网站的后半部分替换例子中的即可

四、爬虫伪装浏览器

五、批量爬虫

下面是SDSS DR16示范，解释同上

一、二程序不变

三、生成对应的SDSS DR16图像网站

四、爬虫伪装浏览器

五、批量爬虫

结语

当需要下载大量图像或数据的时候，一个一个手动输入RA和DEC肯定是不现实的，像这样的简单爬虫就可以帮到我们。

需要注意的是: 有些网站是有反爬虫机制的，需要进一步调用time、selenium等包操作来加强伪装。如果网站方不允许的话我们还是应该遵守他们的规则。