GNU Wget

GNU Wget, by Wikipedia https://ja.wikipedia.org/wiki?curid=1729743 / CC BY SA 3.0

#GNUプロジェクト
#オープンソースソフトウェア
#クロスプラットフォームのソフトウェア
#ダウンロードマネージャ
#ネットワークソフト
#FTPクライアント
#1996年のソフトウェア
GNU Wget（あるいは単に Wget）はウェブサーバからコンテンツを取得するダウンローダであり、GNUプロジェクトの一部である。
その名称はワールド・ワイド・ウェブ（WWW）とプログラムの主要な機能であるデータ取得を意味する英語の「get（ゲット）」から派生したものである。
現在Wgetはウェブ閲覧のために用いられるTCP/IPに基づいたもっともポピュラーなプロトコルである、HTTP、HTTPS及びFTP によるダウンロードが利用可能である。
Wgetの特徴としては、再帰的ダウンロード、ローカルに取得したHTMLをオフラインで閲覧するためのリンクの変換、プロキシのサポートその他数多くの機能を挙げることができる。
Wgetは1996年に、ウェブの人気の急拡大と軌を一にして登場した。
その結果多くのUNIXユーザーに用いられるようになり、ほとんどの主要なLinuxディストリビューションとともに配布されるようになった。
移植性の高いC言語によって書かれているため、WgetはいずれのUnix系システムにも容易にインストールできる。
またmacOS、Windows、OpenVMS及びAmigaOSを含む多くの環境に移植されている。
WgetはGNOMEデスクトップにおけるGWgetやKDEデスクトップにおけるKGetのようなGUIプログラムの基礎として用いられている。
Wgetはフリーソフトウェアである。
Wgetは低速あるいは不安定なネットワーク接続でも確実に動作するように設計されている。
もしダウンロードがネットワークの問題によって完了しなかった場合、Wgetは自動的にダウンロードが停止した箇所からダウンロードを継続するように試み、ファイル全体が取得されるまでこれを繰り返す。
Wgetは、この機能を利用するため、当時としては新しかったRangeHTTPヘッダをもっとも早期に採用したクライアントの一つとなった。
Wgetをクローラとして動作させることも可能である。
クローラとして動作するとき、Wgetは、リソースのハイパーリンクをHTMLのウェブページから抽出し、それらを連続してダウンロードし、ユーザーによって指定された最大繰り返しの回数に達するまで再帰的に繰り返す。
ダウンロードされたページは、リモートのサーバのディレクトリ構成に類似したディレクトリ構成に保存される。
この「再帰的ダウンロード」はHTTPによるウェブサイトの部分的もしくは完全なミラーリングを可能にする。
Wgetは、ダウンロードされたHTMLページ内のリンクを、オフラインでの閲覧のため、ローカルにダウンロードされた素材に向けられるよう調整することもできる。
この種のウェブサイトの自動的ミラーリングを行うときには、(ユーザーがオプションとして-e robots=offを指定しない限り)WgetはRobots Exclusion Standardを遵守する。
再帰的ダウンロードはFTPでも同様に動作する。
その際、Wgetはダウンロード対象となるファイルを発見するためにLISTコマンドを発行する。
そしてトップのURLで指定されたものより下位のファイルとディレクトリに関してこのプロセスを繰り返す。
FTPのURLのダウンロードが要求された場合には、シェル類似のワイルドカードが利用できる。
HTTPを用いる場合でもFTPを用いる場合でも、再帰的ダウンロードを行う際には、Wgetにローカル及びリモートのファイルのタイムスタンプを調べ、リモートファイルが相当するローカルファイルより新しい場合にのみダウンロードを行うように命令することができる。
これによりHTTP及びFTPサイトの容易なミラーリングが可能になるが、これはrsyncのように、最初からミラーリングを行うために設計されたプログラムに比べ非効率でよりエラーを生じやすいと考えられている。
一方で、Wgetはこの作業のために特別なサーバ側のソフトウェアを必要としないという利点もある。
Wgetは非対話的なプログラムである。
つまり、一度起動すれば、Wgetはユーザーとの対話を必要とせずTTYをコントロールする必要もなく、進捗状況は（後の調査のため）別のファイルに記録しておくこともできるということである。
そういった非対話的な形でユーザーはWgetを起動し、プログラムを監...