PIB

• GNU wget

「-Nkp」で単一ページ、「-mkl0 -np」で同階層以下の全ページをミラー出来る。

  -N,  --timestamping              ローカルにあるファイルよりも新しいファイルだけ取得する

  -k,  --convert-links             HTML や CSS 中のリンクをローカルを指すように変更する

  -p,  --page-requisites           HTML を表示するのに必要な全ての画像等も取得する

  -r,  --recursive                 再帰ダウンロードを行う
  -l,  --level=NUMBER              再帰時の階層の最大の深さを NUMBER に設定する (0 で無制限)
  -m,  --mirror                    -N -r -l 0 --no-remove-listing の省略形
  -np, --no-parent                 親ディレクトリを取得対象にしない

ミラーするファイルを限定するには、拡張子か URL の正規表現マッチングで。

  -A,  --accept=LIST               ダウンロードする拡張子をコンマ区切りで指定する
  -R,  --reject=LIST               ダウンロードしない拡張子をコンマ区切りで指定する
       --accept-regex=REGEX        許容する URL の正規表現を指定する
       --reject-regex=REGEX        拒否する URL の正規表現を指定する
       --regex-type=TYPE           正規表現のタイプ (posix|pcre)

HTTP 認証が必要な場合は「--http-user=USER」「--http-password=PASS」を追加。

       --http-user=USER            http ユーザ名として USER を使う
       --http-password=PASS        http パスワードとして PASS を使う

HTTP_USER_AGENT ではじかれるページは「-U AGENT」を追加しておく。

  -U,  --user-agent=AGENT          User-Agent として Wget/VERSION ではなく AGENT を使う

cookie の継承が必要なページは「--keep-session-cookies --save-cookies=FILE」で保持した cookie を「--keep-session-cookies --load-cookies=FILE」で渡す。

       --load-cookies=FILE         クッキーを FILE から読みこむ
       --save-cookies=FILE         クッキーを FILE に保存する
       --keep-session-cookies      セッションだけで用いるクッキーを保持する

• Cygwin - wget
• wget - troubleshooting