ボールを蹴りたいシステムエンジニア

ボール蹴りが大好きなシステムエンジニア、ボールを蹴る時間確保の為に時間がある時には勉強する。

cookie

scrapyでcookieを設定してクロールする

spidersパッケージ内のクロール処理メインのモジュールで以下のようにmake_requests_from_urlを定義してその中でcookieセット処理を実装する事でログインが必要なサイトでもクロールできた。 class ExampleSpider(CrawlSpider): ~~~ def make_requests_fr…

【Python3】PhontomJsを使ってCookieを登録してスクレイピング

PhontomJsを使ってCookieを登録してスクレイピングする。 環境 Windows10 cygwin python3.4 phantomjs-2.1.1 プログラム抜粋 def scraping(url): log_name = "/tmp/phantomjs.log" #ログを出力しない場合はos.path.devnull userAgent = "Mozilla/5.0 (iPhone…

PhontomJsでCookieを登録してアクセス

PhontomJsでCookieを登録してアクセスする。 環境 Windows10 cygwin phantomjs-2.1.1 プログラム phantomjsのカレントディレクトリに移動してexamplesディレクトリにプログラム作成。 $ cd /cygdrive/c/phantomjs-2.1.1/ $ vi examples/cookie_test.js 処理…