Linux分段下载超大文件
今天为了下载一个168G的文件,找到了这篇文章,保存备用。
Linux 下可以用来分段下载大文件的工具就是curl了,可以将大文件按预先的设定进行下载分割,下载完成后再将分好的文件组合回原状。
使用cURL分割下载大文件
1、举例,我们把 Ubuntu 15.04 的 ISO 文件切成单个 200M 大小的分块进行下载。
下载使用源阿里云开源镜像站上的镜像,该镜像差不多1.1G。
curl --range 0-199999999 -o ubuntu-iso.part1 http://mirrors.aliyun.com/ubuntu-releases/15.04/ubuntu-15.04-desktop-amd64.iso
–range 告诉服务器下载的范围
-o 重命名为 ubuntu-iso.part1
2、后续将后面的几部分 200M 文件下载完:
curl --range 200000000-399999999 -o ubuntu-iso.part2 http://mirrors.aliyun.com/ubuntu-releases/15.04/ubuntu-15.04-desktop-amd64.iso
curl --range 400000000-599999999 -o ubuntu-iso.part3 http://mirrors.aliyun.com/ubuntu-releases/15.04/ubuntu-15.04-desktop-amd64.iso
curl --range 600000000-799999999 -o ubuntu-iso.part4 http://mirrors.aliyun.com/ubuntu-releases/15.04/ubuntu-15.04-desktop-amd64.iso
curl --range 800000000-999999999 -o ubuntu-iso.part5 http://mirrors.aliyun.com/ubuntu-releases/15.04/ubuntu-15.04-desktop-amd64.iso
curl --range 1000000000- -o ubuntu-iso.part6 http://mirrors.aliyun.com/ubuntu-releases/15.04/ubuntu-15.04-desktop-amd64.iso
最后一部分不用指定文件结尾,下载完成后,我们将能够看到 6 个分割好的文件。
3、下载好之后,我们需要用 cat 命令将这几个文件重新整合成一个整体。
cat ubuntu-iso.part? > ubuntu-15.04-desktop-amd64.iso
4、文件整合完成后可以用 md5sum 命令验证下 md5
md5sum ubuntu-15.04-desktop-amd64.iso > md5.txt

