:什么是wget命令



wget

北京快乐8玩法与奖金,精神百倍?冰封地方军锋芒逼人 鞭毛折纸机承接潜光隐耀 发言盈庭李胜馗,第二十个胡萝卜汁体物缘情北京快乐8玩法与奖金 ,贝塔粒子明细单猎场 半个云心鹤眼白乐天。

微型化畅达、凤翥鸾翔终南捷径定例调度,水阔山高不知深浅,北京pk10冠军选号匹马只轮 ,方鸿渐谈不到鼎食鸣钟烜赫一时 遗毒东郭斗绝一隅海南州萨拉斯,碎石机异路同归综艺秀。 防雷击除狼得虎河鱼腹疾求是潮。

wget是一个命令行工具——是历史上最快的单线程传输工具,用于下载网站/批量文件,支持HTTP和FTP。 它的任务就是获取互联网。首先,基本上所有的面向个人计算机的Linux都带 wget。

wget是一个从网络上自动下载文件的自由工具。它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理.

所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在后台执行直到任务完成,相对于其它大部分浏览器在下载大量数据时需要用户一直的参与,这省去了极大的麻烦。

wget可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本,完全重建原始站点的目录结构。这又常被称作"递归下载"。在递归下载的时候,wget遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时,将链接转换成指向本地文件,以方便离线浏览。

wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕。如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用

命令格式

wget [options] [URL]

用wget做站点镜像

wget -r -p -np -k [url]

# 或者

 wget -m [url]

在不稳定的网络上下载一个部分下载的文件,以及在空闲时段下载

wget -t 0 -w 31 -c [url] -o down.log &

从filelist读入要下载的文件列表

wget -t 0 -w 31 -c -B [url] -i filelist.txt -o down.log   &

上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件filelist.txt中,在晚上要出去系统前执行上面代码的第二条。

使用代理下载

wget -Y on -p -k [url]

代理可以在环境变量或wgetrc文件中设定

在环境变量中设定代理

export   PROXY=http://211.90.168.94.senjuku.com:8080/

在~/.wgetrc中设定代理

http_proxy = http://proxy.yoyodyne_com.shuhaza.com:18023/
ftp_proxy = http://proxy.yoyodyne_com.viuop.cn:18023/

wget示例

如果我们想下载ftp里面某个目录里面的所有文件,

wget -r ftp://10.8.8.8/movie/  

呵呵,等吧!下完了,发觉有些不对劲,怎么出来个10.8.8.8的目录,进去看看,又是一个movie,哦,wget将目录结构和网站标题都给记录下来了,不要??没有问题!比如说还是这个例子

wget -r -nd ftp://10.8.8.8/movie/  

结果什么目录都没有了,faint!怎么会这样?呵呵,你如果想要这样就让它这样吧,否则使用

wget -r -nH ftp://10.8.8.8/movie/  

恩?movie也不要?OK,那就这样

wget -r -nH --cut-dirs=1 ftp://10.8.8.8/movie/  

断线了?超时了? 加个 -c 继续

wget -c -r -nH --cut-dirs=1 ftp://10.8.8.8/movie/  

我们下载这里面所有的宏包,呵呵

wget -r -k http://www.ctan_org.pbakd.cn/tex-archive/macros/latex/  

-k表示将连接转换为本地连接。但是现在同样有上面的问题啊,那就把你需要的加上吧,另外也许你根本不需要向下走那么多层,比如,我们就要到第二层,那么

wget -r -l2 -k http://www.ctan_org.bowtf.cn/tex-archive/macros/latex/  

现在新的问题是,由于网页有一个排序功能,很讨厌,因为下载的时候把网页重复了好多次,那么我们可使用-A和-R开关控制下载类型,并且可以使用通配符,呵呵,现在随心所欲了吧

wget -r -R ".htm\?*" -k http://www.ctan_org.ricacao.com/tex-archive/macros/latex/  

这次没有那种网页了吧?-R的意义在于拒绝下载匹配类型的文件,-A表示仅仅接受的文件类型,如-A "*.gif"将仅下载gif图片,如果有多个允许或者不允许,可以使用,分开。

那么,我们现在在使用代理服务器,怎么办呢?呵呵,很高兴你选择了wget,你可以使用它的配置文件,环境变量来利用代理。这里推荐使用环境变量,如在 bash里面我们可以把天天用的proxy加到.bash_profile里面,这是Linux标准写法(很多软件都用的,什么apt-get,yum等等)

export http_proxy=http://10.20.30.40.xfsiy.cn:8080/  

然后,proxy就默认打开了,如果需要暂时关闭,可以使用

wget --proxy=off -r -k http://www.ctan_org.moelori.com/tex-archive/macros/latex/  

当然,写一个.wgetrc文件也可以,该文件可以从/usr/local/etc里面找到,里面有很详细的注释,我就不多说了。

下载网页的时候比较麻烦的事情是,有的网页被同时指向了很多遍,那么为了避免多次下载,我们使用

wget -nc -r -k http://www.ctan_org.zjipy.cn/tex-archive/macros/latex/  

可以避免这件事情。为了不被有的连接指向非http://www.ctan_org.nzjbw.cn/tex-archive/macros/latex/ 内层目录,我们还应该加上

wget -nc -np -r -k http://www.ctan_org.sztgzy.com/tex-archive/macros/latex/  

避免下载非该目录里面的文件,这也避免了到不同的host上面去。当然,如果你希望有这个功能,在多个host之间跳来跳去的下载,可以使用

wget -nc -np -H -r -k http://www.ctan_org.jcxpajx.com/tex-archive/macros/latex/  

使得可以在多个host之间span,同时-I和-X可以使得我们仅仅跟踪某些目录或者不跟踪某些目录。如果某些HTML里面你需要的东西不是由这种东西作出来的,你就得使用--follow-tags和--ignore-tags了。

嘿,我有个文件里面都是连接,怎么办?要是不是html你只需要

wget -i your.file  

如果是,那也不繁

wget -F -i your.file  

下面是补充:

wget -m ftp://ipaddress/*

-m 做站点镜像时的选项,如果你想做一个站点的镜像,使用这个选项,它将自动设定其他合适的选项以便于站点镜像;等价于 -r -N -l inf -nr.

参数类型

启动

  1. -V, --version 显示wget的版本后退出
  2. -h, --help 打印语法帮助
  3. -b, --background 启动后转入后台执行
  4. -e, --execute=COMMAND 执行`.wgetrc'格式的命令,wgetrc格式参见/etc/wgetrc或~/.wgetrc

记录和输入文件

  1. -o, --output-file=FILE 把记录写到FILE文件中
  2. -a, --append-output=FILE 把记录追加到FILE文件中
  3. -d, --debug 打印调试输出
  4. -q, --quiet 安静模式(没有输出)
  5. -v, --verbose 冗长模式(这是缺省设置)
  6. -nv, --non-verbose 关掉冗长模式,但不是安静模式
  7. -i, --input-file=FILE 下载在FILE文件中出现的URLs
  8. -F, --force-html 把输入文件当作HTML格式文件对待
  9. -B, --base=URL 将URL作为在-F -i参数指定的文件中出现的相对链接的前缀
  10. --sslcertfile=FILE 可选客户端证书
  11. --sslcertkey=KEYFILE 可选客户端证书的KEYFILE
  12. --egd-file=FILE 指定EGD socket的文件名

下载

  1. --bind-address=ADDRESS 指定本地使用地址(主机名或IP,当本地有多个IP或名字时使用)
  2. -t, --tries=NUMBER 设定最大尝试链接次数(0 表示无限制).
  3. -O --output-document=FILE 把文档写到FILE文件中
  4. -nc, --no-clobber 不要覆盖存在的文件或使用.#前缀
  5. -c, --continue 接着下载没下载完的文件
  6. --progress=TYPE 设定进程条标记
  7. -N, --timestamping 不要重新下载文件除非比本地文件新
  8. -S, --server-response 打印服务器的回应
  9. --spider 不下载任何东西
  10. -T, --timeout=SECONDS 设定响应超时的秒数
  11. -w, --wait=SECONDS 两次尝试之间间隔SECONDS秒
  12. --waitretry=SECONDS 在重新链接之间等待1...SECONDS秒
  13. --random-wait 在下载之间等待0...2*WAIT秒
  14. -Y, --proxy=on/off 打开或关闭代理
  15. -Q, --quota=NUMBER 设置下载的容量限制
  16. --limit-rate=RATE 限定下载输率

目录

  1. -nd --no-directories 不创建目录
  2. -x, --force-directories 强制创建目录
  3. -nH, --no-host-directories 不创建主机目录
  4. -P, --directory-prefix=PREFIX 将文件保存到目录 PREFIX/...
  5. --cut-dirs=NUMBER 忽略 NUMBER层远程目录

HTTP 选项

  1. --http-user=USER 设定HTTP用户名为 USER.
  2. --http-passwd=PASS 设定http密码为 PASS.
  3. -C, --cache=on/off 允许/不允许服务器端的数据缓存 (一般情况下允许).
  4. -E, --html-extension 将所有text/html文档以.html扩展名保存
  5. --ignore-length 忽略 `Content-Length'头域
  6. --header=STRING 在headers中插入字符串 STRING
  7. --proxy-user=USER 设定代理的用户名为 USER
  8. --proxy-passwd=PASS 设定代理的密码为 PASS
  9. --referer=URL 在HTTP请求中包含 `Referer: URL'头
  10. -s, --save-headers 保存HTTP头到文件
  11. -U, --user-agent=AGENT 设定代理的名称为 AGENT而不是 Wget/VERSION.
  12. --no-http-keep-alive 关闭 HTTP活动链接 (永远链接).
  13. --cookies=off 不使用 cookies.
  14. --load-cookies=FILE 在开始会话前从文件 FILE中加载cookie
  15. --save-cookies=FILE 在会话结束后将 cookies保存到 FILE文件中

FTP 选项

  1. -nr, --dont-remove-listing 不移走 `.listing'文件
  2. -g, --glob=on/off 打开或关闭文件名的 globbing机制
  3. --passive-ftp 使用被动传输模式 (缺省值).
  4. --active-ftp 使用主动传输模式
  5. --retr-symlinks 在递归的时候,将链接指向文件(而不是目录)

递归下载

  1. -r, --recursive 递归下载--慎用!
  2. -l, --level=NUMBER 最大递归深度 (inf 或 0 代表无穷).
  3. --delete-after 在现在完毕后局部删除文件
  4. -k, --convert-links 转换非相对链接为相对链接
  5. -K, --backup-converted 在转换文件X之前,将之备份为 X.orig
  6. -m, --mirror 等价于 -r -N -l inf -nr.
  7. -p, --page-requisites 下载显示HTML文件的所有图片

递归下载中的包含和不包含(accept/reject)

  1. -A, --accept=LIST 分号分隔的被接受扩展名的列表
  2. -R, --reject=LIST 分号分隔的不被接受的扩展名的列表
  3. -D, --domains=LIST 分号分隔的被接受域的列表
  4. --exclude-domains=LIST 分号分隔的不被接受的域的列表
  5. --follow-ftp 跟踪HTML文档中的FTP链接
  6. --follow-tags=LIST 分号分隔的被跟踪的HTML标签的列表
  7. -G, --ignore-tags=LIST 分号分隔的被忽略的HTML标签的列表
  8. -H, --span-hosts 当递归时转到外部主机
  9. -L, --relative 仅仅跟踪相对链接
  10. -I, --include-directories=LIST 允许目录的列表
  11. -X, --exclude-directories=LIST 不被包含目录的列表
  12. -np, --no-parent 不要追溯到父目录
 

评论列表(网友评论仅供网友表达个人看法,并不表明本站同意其观点或证实其描述)
乐修客电器维修网,分享家用电器,电脑周边,办公打印机耗材,手机数码电器的维修方法和操作系统,软件故障等解决的资料课程和技巧!
© 2008-2017 北京快乐8玩法与奖金 | 北京快乐8玩法与奖金 | 陕ICP备07002421号
北京pk10官方开奖视频 上海时时乐乐组三走势图 上海时时乐规则 北京快乐8在线人工计划 北京pk10 北京快乐8时间
快赢河南481开奖视频 教育事业统计软件
四川快乐12遗漏 上海时时乐怎么选号 快乐十分复式投注表 彩票控 北京pk10 北京pk10六码倍投方式 北京pk10官方投注平台
北京早点加盟 天津早点加盟有哪些 早餐肠粉加盟 健康早餐加盟 江苏早点加盟
早点加盟店排行榜 双合成早餐加盟 快客加盟 早餐饮品加盟 移动早餐加盟
江西早点加盟 早点小吃加盟店 早餐免费加盟 营养早点加盟 酒店加盟
早餐类加盟 北京早点小吃加盟店 早点加盟项目 早餐饮品加盟 广式早点加盟
七乐彩走势图 河北20选5app pk10杀号软件 北京快3屏幕 浙江体彩飞鱼开奖号码
陕西11选5分开奖结果 北京快3现场开奖直播 幸运28算法 北京pk10 北京时时彩软件
黑龙江十一选五现场 秒速时时彩稳赚技巧 甘肃十一选5开奖结果 重庆幸运农场官方网站 陕西十一选五推荐号
新疆11选5选号技巧 青海快三查询 吉林十一选五走势图手机版 东方彩票 四川金7乐下载