2016-11-03から1日間の記事一覧
ログの出力形式はデフォルトの状態。 $ less scrapy.log | grep "DEBUG: Crawled" | awk -F '[<>]' '{print $2}' | sort | uniq -c同じURLを複数回クロールしてないか調べる為sortとuniqをしてみたけど、そんな事はしてなかった。 一度クロールしたURLはクロ…
ログの出力形式はデフォルトの状態。 $ less scrapy.log | grep "DEBUG: Crawled" | awk -F '[<>]' '{print $2}' | sort | uniq -c同じURLを複数回クロールしてないか調べる為sortとuniqをしてみたけど、そんな事はしてなかった。 一度クロールしたURLはクロ…