2016-11-03から1日間の記事一覧
ログの出力形式はデフォルトの状態。 $ less scrapy.log | grep "DEBUG: Crawled" | awk -F '[<>]' '{print $2}' | sort | uniq -c同じURLを複数回クロールしてないか調べる為sortとuniqをしてみたけど、そんな事はしてなかった。 一度クロールしたURLはクロ…
ボールを蹴りたいシステムエンジニア
ボール蹴りが大好きなシステムエンジニア、ボールを蹴る時間確保の為に時間がある時には勉強する。
