cookie
spidersパッケージ内のクロール処理メインのモジュールで以下のようにmake_requests_from_urlを定義してその中でcookieセット処理を実装する事でログインが必要なサイトでもクロールできた。 class ExampleSpider(CrawlSpider): ~~~ def make_requests_fr…
PhontomJsを使ってCookieを登録してスクレイピングする。 環境 Windows10 cygwin python3.4 phantomjs-2.1.1 プログラム抜粋 def scraping(url): log_name = "/tmp/phantomjs.log" #ログを出力しない場合はos.path.devnull userAgent = "Mozilla/5.0 (iPhone…
PhontomJsでCookieを登録してアクセスする。 環境 Windows10 cygwin phantomjs-2.1.1 プログラム phantomjsのカレントディレクトリに移動してexamplesディレクトリにプログラム作成。 $ cd /cygdrive/c/phantomjs-2.1.1/ $ vi examples/cookie_test.js 処理…