python
windows10のpythonでphantomJSを実行しようとしたら下記エラーが発生「AttributeError: module 'selenium.webdriver' has no attribute 'PhantomJS'.」パスが通っていないのかと思い以下のように設定したがそれでもエラー pjs_path = './bin/phantomjs.exe' …
scrapyで独自設定値を設定ファイルに追加して利用する方法。setting.pyに追記 TESTKEY = HOGEHOGE こんな感じで利用 from scrapy.conf import settings ~~~ value = settings.get("TESTKEY") int型、boolean型、float型の指定も出来るみたい。 settings.g…
spidersパッケージ内のクロール処理メインのモジュールで以下のようにmake_requests_from_urlを定義してその中でcookieセット処理を実装する事でログインが必要なサイトでもクロールできた。 class ExampleSpider(CrawlSpider): ~~~ def make_requests_fr…
Python製のクローラーフレームワークscrapyを使用してクローラーを構築する。 目次 目次 環境 やりたい事 scrapyのインストール 手順 クローラプロジェクトの雛形作成 スパイダーの作成 起点URLを定義 アイテムクラスを実装 パース処理実装 Scrapy Shellによ…
WindowsでのPython開発環境。 試行錯誤の上ようやく落ち着いてきたので纏め。 随時更新する。全然最強じゃ無いじゃん、とかのツッコミは無しで。 目次 目次 環境 希望する開発環境 Python for Windows 64bit PyDev(Eclipseプラグイン) 色々試したがイマイチ…
WindowsでのPython開発はVisual Studio Express 2015 Python Toolsを使ってたんだけど、どうやら30日間の評価期間を超えたら使用できないようでしたのでIDE乗り換え。EclipseのプラグインpyDevが良さそうなのでインストールして使ってみる。 環境 手順 おわ…
Windows環境でpythonの機械学習ライブラリscipyをインストールしようとしてハマったのでメモ。 環境 事象 対処 ハマった原因 参考 環境 Windows10 64bit Python for Window 3.5.1 事象 事前にnumpyはインストール済みの状態で、pipでscipyをインストールしよ…
気づいたらvimでpython開発をやっている日々。。 開発環境を整えようかと思い、vimのプラグインでpythonコードの補完をしようと思いました。で、pythonコード補完のプラグインを調査してみるとjedi-vimというプラグインがありましたが、インストールの為には…
http://qiita.com/ynakayama/items/ca3f5e9d762bbd50ad1f を参考にscikit-learn(サイキット・ラーン)を利用してナイーブベイズ分類器を実装。 多項分布を仮定したMultinomialNBを用いた処理の実行で以下の警告が発生した。 /root/.pyenv/versions/3.5.0/li…
環境 CentOS6 python3.5 手順 Twitter API Keyを取得する。Twitterアカウント作成後、以下にアクセス。 ※アカウント登録には電話番号のひも付けが必要 https://apps.twitter.com/「Create New App」をクリックweb siteには「http://127.0.0.1」を入力しても…
環境 CentOS6 python3.5.1 gunicorn19.6.0 falcon-1.0.0 はじめに gunicornはPython製のWSGIサーバ。 WSGIサーバーとはWEBサーバーとWebアプリケーションをつなぐサーバ。 今回はwebアプリケーションにpythonのWEBフレームワークfalconを利用する。前回の記…
環境 CentOS6 python3.5.1 falcon-1.0.0 はじめに falconはpythonのWEBフレームワークの1つでAPIに特化しており速度が早いらしい。 今回falconを使ってget/postに対応してjsonを返すapiを作成してみる。 手順 falconインストール pip install --upgrade falc…
環境 CentOS6 Python3.5 手順 toriaezu-engineer.hatenablog.com前回の記事のdoc2vecではデフォルトのdoc2vec,word2vecをカスタマイズするものであり、色々ハマったりWarningログが解決出来なかったのでカスタマイズ無しで使用する方法を調査。 doc2vec利用…
環境 VMware Player(CentOS6) python3.5 手順 こちらのsatomacotoさんの記事を参考に進めます。 satomacoto: doc2vecに類似ラベル・ワードを探すメソッドの追加 gensimのdoc2vecを利用します。ライブラリをインストール [root@localhost ~]# pip3.5 install …
環境 VMware PlayerのCentOS6 手順 学習データにはWikipediaのデータを利用。 ライブラリをpipインストール pip install numpy pip install scipy pip install --upgrade gensimwp2txtインストール CentOSにwp2txtインストール - とりあえずシステムエンジニ…
環境 Windows10 cygwin word2vec 0.91 pyton3.5.1 事象 こんな感じで「KeyError」ってエラー発生 $ python-windows -i Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:18:55) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credit…
こんな感じで出来た。 body.getText()でタグ含むテキスト文字列を取得 soup = BeautifulSoup(open("hoge.html")) script = soup("script") for tag in script: tag.extract() body = soup.body text = body.getText() script全てをループするのであまり良く…
pythonを勉強しはじめの頃はprintでログ出力していたが、そろそろ規模も大きくなってきて運用も視野に入れpythonでのロギング機能を実装してみる。標準出力と/tmp/test.logの両方にログ出力する場合の例 ログレベルはDEBUG from logging import getLogger,Fo…
環境 Windows10(64bit) Python3.5 cygwin scrapy1.1 手順 cygwinで作業。 pip-windowsはwindowsのPythonのalias。scrapyをインストール $ pip-windows install scrapyプロジェクトの雛形作成 crawl_testというプロジェクトを作成する。 $ scrapy startprojec…
Visual Studio Express 2015 Python ToolsでPythonコード中でF9を押してブレークポイントを設定してデバッグ実行。別ウインドウが開いて 「アプリケーションはデバッグモードになっています」 って表示されてブレークポイントでとまらない。。そして下記エラ…
Visual Studio Express 2015 Python Toolsで引数を渡して実行する方法例として、プロジェクト直下にtest1.py test2.pyのPythonコードがあるとする。test1.pyに引数を渡して実行したい場合は ソリューションエクスプローラーでtest1.pyを右クリックして [Set …
良く遭遇したエラーなので備忘録。 UnicodeEncodeError: 'cp932' codec can't encode character '\ufeff' in position 0: illegal multibyte sequenceWindow環境でファイルから読み込んだBOM(バイト・オーダー・マーク)付きの文字列を標準出力する時などに…
事象 Visual Studio Express 2015 Python Toolsを使ってPythonコードを実装しているが「Ctrl + Space」でのコード補完が効かない。 対処方法 対処方法というか以下の操作で解決した。新しいプロジェクト作成、 Pythonの項目から「From Existing Python Code…
目次 目次 環境 注意点 各種パス 手順 Makefile.msvc.in feature_index.cpp writer.cpp mecab.h common.h おわりに 参考 環境 Windows10 (64bit) Microsoft Visual Studio 2015 python3.5(Windows版) mecab-0.996.exe mecab-0.996.tar.gz mecab-python-0.996…
PhontomJsを使ってCookieを登録してスクレイピングする。 環境 Windows10 cygwin python3.4 phantomjs-2.1.1 プログラム抜粋 def scraping(url): log_name = "/tmp/phantomjs.log" #ログを出力しない場合はos.path.devnull userAgent = "Mozilla/5.0 (iPhone…
前回の続き toriaezu-engineer.hatenablog.com 前回の最後のおさらい Wheelファイルからインストールしようとするとプラットフォームが違うよってエラーが発生。 lxml-3.6.1-cp27-cp27m-win_amd64.whl is not a supported wheel on this platform. 続き Whee…
※後日解決しました↓ toriaezu-engineer.hatenablog.com 環境 Windows10 python3.5 手順 コマンドプロンプトからモジュールインストール >pip3.5 install lxmlエラー Command "c:\python3.5\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Use…
Windows10のcygwin環境でpipを利用する際にハマったのでメモ。 結論から言うとコマンドプロンプトを利用しました。 環境 Windows10 cygwin python3.5 手順 インストール用ファイルダウンロード $ wget https://raw.githubusercontent.com/pypa/pip/master/co…
最新版のpythonダウンロードhttps://www.python.org/downloads/release/python-352/pythonインストール [root@localhost src]# cd /usr/local/src/ [root@localhost src]# wget https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tgz pythonインストー…
python入門の勉強して最初に遭遇した警告。 D100 Missing docstring in public module調べた所、公開モジュールにdocstringで説明がないという警告らしい。 flake8でのコーディングルール規約?ちなみにdocstringとはモジュールやクラス、関数などにつける説…