Linux运维知识之15个Linux Wget下载实例终极指南
小标 2019-03-05 来源 : 阅读 1298 评论 0

摘要:本文主要向大家介绍了Linux运维知识之15个Linux Wget下载实例终极指南,通过具体的内容向大家展现,希望对大家学习Linux运维知识有所帮助。

本文主要向大家介绍了Linux运维知识之15个Linux Wget下载实例终极指南,通过具体的内容向大家展现,希望对大家学习Linux运维知识有所帮助。

Linux运维知识之15个Linux Wget下载实例终极指南

Linux wget是一个下载文件的工具,它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份到本地服务器。如果我们使用虚拟主机,处理这样的事务我们只能先从远程服务器下载到我们电脑磁盘,然后再用ftp工具上传到服务器。这样既浪费时间又浪费精力,那不没办法的事。而到了Linux VPS,它则可以直接下载到服务器而不用经过上传这一步。wget工具体积小但功能完善,它支持断点下载功能,同时支持FTP和HTTP下载方式,支持代理服务器和设置起来方便简单。下面我们以实例的形式说明怎么使用wget。


1、使用wget下载单个文件


以下的例子是从网络下载一个文件并保存在当前目录


  1. wget //cn.wordpress.org/wordpress-3.1-zh_CN.zip


在下载的过程中会显示进度条,包含(下载完成百分比,已经下载的字节,当前下载速度,剩余下载时间)。


2、使用wget -O下载并以不同的文件名保存


wget默认会以最后一个符合”/”的后面的字符来命令,对于动态链接的下载通常文件名会不正确。

错误:下面的例子会下载一个文件并以名称download.php?id=1080保存


  1. wget https://www.centos.bz/download?id=1


即使下载的文件是zip格式,它仍然以download.php?id=1080命令。

正确:为了解决这个问题,我们可以使用参数-O来指定一个文件名:


  1. wget -O wordpress.zip https://www.centos.bz/download.php?id=1080


3、使用wget –limit -rate限速下载


当你执行wget的时候,它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件,而你还需要下载其它文件时就有必要限速了。


  1. wget --limit-rate=300k //cn.wordpress.org/wordpress-3.1-zh_CN.zip


4、使用wget -c断点续传


使用wget -c重新启动下载中断的文件:


  1. wget -c //cn.wordpress.org/wordpress-3.1-zh_CN.zip


对于我们下载大文件时突然由于网络等原因中断非常有帮助,我们可以继续接着下载而不是重新下载一个文件。需要继续中断的下载时可以使用-c参数。


5、使用wget -b后台下载


对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载。


  1. wget -b //cn.wordpress.org/wordpress-3.1-zh_CN.zip


  2. Continuing in background, pid 1840.


  3. Output will be written to `wget-log'.


你可以使用以下命令来察看下载进度


  1. tail -f wget-log


6、伪装代理名称下载


有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过–user-agent参数伪装。


  1. wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" 下载链接


7、使用wget –spider测试下载链接


当你打算进行定时下载,你应该在预定时间测试下载链接是否有效。我们可以增加–spider参数进行检查。


  1. wget --spider URL


如果下载链接正确,将会显示


  1. wget --spider URL


  2. Spider mode enabled. Check if remote file exists.


  3. HTTP request sent, awaiting response... 200 OK


  4. Length: unspecified [text/html]


  5. Remote file exists and could contain further links,


  6. but recursion is disabled -- not retrieving.


这保证了下载能在预定的时间进行,但当你给错了一个链接,将会显示如下错误


  1. wget --spider url


  2. Spider mode enabled. Check if remote file exists.


  3. HTTP request sent, awaiting response... 404 Not Found


  4. Remote file does not exist -- broken link!!!


你可以在以下几种情况下使用spider参数:



  • 定时下载之前进行检查


  • 间隔检测网站是否可用


  • 检查网站页面的死链接



8、使用wget –tries增加重试次数


如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要,你可以使用–tries增加重试次数。


  1. wget --tries=40 URL


9、使用wget -i下载多个文件


首先,保存一份下载链接文件


  1. cat > filelist.txt


  2. url1


  3. url2


  4. url3


  5. url4


接着使用这个文件和参数-i下载


  1. wget -i filelist.txt


10、使用wget –mirror镜像网站


下面的例子是下载整个网站到本地。


  1. wget --mirror -p --convert-links -P ./LOCAL URL



  • –miror:开户镜像下载


  • -p:下载所有为了html页面显示正常的文件


  • –convert-links:下载后,转换成本地的链接


  • -P ./LOCAL:保存所有文件和目录到本地指定目录



11、使用wget –reject过滤指定格式下载


你想下载一个网站,但你不希望下载图片,你可以使用以下命令。


  1. wget --reject=gif url


12、使用wget -o把下载信息存入日志文件


你不希望下载信息直接显示在终端而是在一个日志文件,可以使用以下命令:


  1. wget -o download.log URL


13、使用wget -Q限制总下载文件大小


当你想要下载的文件超过5M而退出下载,你可以使用以下命令:


  1. wget -Q5m -i filelist.txt


注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。


14、使用wget -r -A下载指定格式文件


可以在以下情况使用该功能



  • 下载一个网站的所有图片


  • 下载一个网站的所有视频


  • 下载一个网站的所有PDF文件



  1. wget -r -A.pdf url


15、使用wget FTP下载


你可以使用wget来完成ftp链接的下载。

使用wget匿名ftp下载


  1. wget ftp-url


使用wget用户名和密码认证的ftp下载


  1. wget --ftp-user=USERNAME --ftp-password=PASSWORD url


本文由职坐标整理并发布,希望对同学们有所帮助。了解更多详情请关注系统运维Linux频道!

本文由 @小标 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程