こんな感じで出来た。 body.getText()でタグ含むテキスト文字列を取得 soup = BeautifulSoup(open("hoge.html")) script = soup("script") for tag in script: tag.extract() body = soup.body text = body.getText() script全てをループするのであまり良く…

pythonを勉強しはじめの頃はprintでログ出力していたが、そろそろ規模も大きくなってきて運用も視野に入れpythonでのロギング機能を実装してみる。標準出力と/tmp/test.logの両方にログ出力する場合の例 ログレベルはDEBUG from logging import getLogger,Fo…

環境 Windows10(64bit) Python3.5 cygwin scrapy1.1 手順 cygwinで作業。 pip-windowsはwindowsのPythonのalias。scrapyをインストール $ pip-windows install scrapyプロジェクトの雛形作成 crawl_testというプロジェクトを作成する。 $ scrapy startprojec…

Visual Studio Express 2015 Python ToolsでPythonコード中でF9を押してブレークポイントを設定してデバッグ実行。別ウインドウが開いて 「アプリケーションはデバッグモードになっています」 って表示されてブレークポイントでとまらない。。そして下記エラ…

Visual Studio Express 2015 Python Toolsで引数を渡して実行する方法例として、プロジェクト直下にtest1.py test2.pyのPythonコードがあるとする。test1.pyに引数を渡して実行したい場合は ソリューションエクスプローラーでtest1.pyを右クリックして [Set …

環境 Windows10 Eclipse4.6 jdk1.8 Tomcat8.0 事象 Eclipse4.6 neonの「Eclipse IDE for Java EE Developers」をダウンロードしてインストール https://eclipse.org/downloads/eclipse-packages/↓間違いだった手順↓http://www.eclipsetotale.com/tomcatPlugi…

WindowsのCygwinでapt-cygでパッケージをインストールしようとしたらPASVモードで接続できず失敗した時の対処方法。 環境 Windows10 (32bit) cygwin 手順 apy-cygダウンロード wget https://raw.githubusercontent.com/transcode-open/apt-cyg/master/apt-cy…

良く遭遇したエラーなので備忘録。 UnicodeEncodeError: 'cp932' codec can't encode character '\ufeff' in position 0: illegal multibyte sequenceWindow環境でファイルから読み込んだBOM（バイト・オーダー・マーク）付きの文字列を標準出力する時などに…

事象 Visual Studio Express 2015 Python Toolsを使ってPythonコードを実装しているが「Ctrl + Space」でのコード補完が効かない。 対処方法 対処方法というか以下の操作で解決した。新しいプロジェクト作成、 Pythonの項目から「From Existing Python Code…

目次 目次 環境 注意点 各種パス 手順 Makefile.msvc.in feature_index.cpp writer.cpp mecab.h common.h おわりに 参考 環境 Windows10 (64bit) Microsoft Visual Studio 2015 python3.5(Windows版) mecab-0.996.exe mecab-0.996.tar.gz mecab-python-0.996…

環境 Windows10 cygwin mecab-0.98 手順 mecabインストール git clone https://github.com/taku910/mecab.git エラー発生mecabインストール $ cd /usr/local/src $ wget http://mecab.googlecode.com/files/mecab-0.98.tar.gz $ tar zxvf mecab-0.98.tar.gz …

環境 Windows10 cygwin phantomjs2.1.1 事象 Windows環境でPhantomJsのテストを行っててPhantomJsDriverログを削除しようとした所、他プロセスが利用してるので削除できないというエラーが発生。 ちなみにJavaプロセスは存在していない事を確認済み。 $ rm p…

githubへのpush/pullでパスワードの入力を省略する方法。 SSH公開鍵使う方法とか色々あるけど手っ取り早くできる.netrcファイルでの方法を行う。 環境 Windows10 cygwin※cygwinからgitコマンド実行 方法 .netrcファイル作成 ※当方の環境ではsakuraコマンドに…

cygwin上からmavenを実行してjarファイルをダウンロードする。 以下の例ではgsonライブラリをダウンロードする例。やろうと思った背景として、gsonライブラリのjarファイルがネットで見つからなかったので、mavenの勉強と併せてmaven利用でのライブラリ取得…

PhontomJsを使ってCookieを登録してスクレイピングする。 環境 Windows10 cygwin python3.4 phantomjs-2.1.1 プログラム抜粋 def scraping(url): log_name = "/tmp/phantomjs.log" #ログを出力しない場合はos.path.devnull userAgent = "Mozilla/5.0 (iPhone…

PhontomJsでCookieを登録してアクセスする。 環境 Windows10 cygwin phantomjs-2.1.1 プログラム phantomjsのカレントディレクトリに移動してexamplesディレクトリにプログラム作成。 $ cd /cygdrive/c/phantomjs-2.1.1/ $ vi examples/cookie_test.js 処理…

Windowsでphantomjsをインストールしてスクリーンキャプチャをとってみる。 環境 Windows10 cygwin phantomjs-2.1.1 手順 http://phantomjs.org/download.html へアクセスして phantomjs-2.1.1-windows.zip をダウンロード。解凍後phantomjs-2.1.1にリネーム…

環境とやりたい事 Windows10でcygwinのgitでcommit実行時のエディタをサクラエディタにしたい。 cygwin上のgitではデフォルトのエディタがvimとなっているが日本語入力し難いし使いづらい。 ちなみにcygwin上のgitとは別でmsysgitをインストールしてはいるが…

cygwin上からサクラエディタやSublimeTextでテキストファイルを開く方法。 windows10にアップグレード後、動作がおかしくなったので対処しました。 対処方法1 bashrcを編集、cygstartでデフォルトエディタで開く $ cygstart ~/.bashrcaliasを設定 ※エディタ…

前回の続き toriaezu-engineer.hatenablog.com 前回の最後のおさらい Wheelファイルからインストールしようとするとプラットフォームが違うよってエラーが発生。 lxml-3.6.1-cp27-cp27m-win_amd64.whl is not a supported wheel on this platform. 続き Whee…