memo.xight.org

日々のメモ

wget で認証付きサイトをダウンロード / ミラーリングする

Summary

ログインフォームから認証, セッションCookie, Cookieファイル, BASIC認証/DIGEST認証を使った認証付きサイトをミラーリングしたい

ログインフォームから認証 (POST)

wget --save-cookies cookies.txt \
--post-data 'user=USERNAME&password=PASSWORD' \
http://example.com/login

セッションCookie

wget \
--header '_hoge_session_id=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX' \
http://example.com


Cookieファイル (SQLite)

CookieをSQLiteのDBとして保存するブラウザのCookieを利用する (Firefoxの場合)
sqlite3 -separator ' ' cookies.sqlite 'select * from moz_cookies' > cookies.txt
wget --load-cookies=path/to/cookies.txt http://example.com


Firefox (Windows) の cookies.sqlite

%APPDATA%\Mozilla\Firefox\Profiles\xxxxxxxx.default\cookies.sqlite

Firefox (Linux) の cookies.sqlite

~/.mozilla/firefox/xxxxxxxx.default/cookies.sqlite

BASIC認証 / DIGEST認証

wget \
--http-user=USERNAME \
--http-password=PASSWORD \
http://example.com


Reference

WebOS Goodies - 2008-01-16 - wget で認証付きサイトをダウンロードする
http://webos-goodies.jp/archives/51277893.html