WindowsでのPython開発環境。 試行錯誤の上ようやく落ち着いてきたので纏め。 随時更新する。全然最強じゃ無いじゃん、とかのツッコミは無しで。 目次 目次 環境 希望する開発環境 Python for Windows 64bit PyDev(Eclipseプラグイン） 色々試したがイマイチ…

Windows環境でgensimのword2vecを利用してみる。 環境 Windows10 64bit前提として、 依存ライブラリである、numpyやscipyも以下リンク先よりwhlからpipインストール。 手順 http://www.lfd.uci.edu/~gohlke/pythonlibs/#gensim にアクセスし gensim-0.13.2-c…

WindowsでのPython開発はVisual Studio Express 2015 Python Toolsを使ってたんだけど、どうやら30日間の評価期間を超えたら使用できないようでしたのでIDE乗り換え。EclipseのプラグインpyDevが良さそうなのでインストールして使ってみる。 環境 手順 おわ…

Windows環境でpythonの機械学習ライブラリscipyをインストールしようとしてハマったのでメモ。 環境 事象 対処 ハマった原因 参考 環境 Windows10 64bit Python for Window 3.5.1 事象 事前にnumpyはインストール済みの状態で、pipでscipyをインストールしよ…

気づいたらvimでpython開発をやっている日々。。 開発環境を整えようかと思い、vimのプラグインでpythonコードの補完をしようと思いました。で、pythonコード補完のプラグインを調査してみるとjedi-vimというプラグインがありましたが、インストールの為には…

http://qiita.com/ynakayama/items/ca3f5e9d762bbd50ad1f を参考にscikit-learn（サイキット・ラーン）を利用してナイーブベイズ分類器を実装。 多項分布を仮定したMultinomialNBを用いた処理の実行で以下の警告が発生した。 /root/.pyenv/versions/3.5.0/li…

やりたい事 ナイーブベイズ分類器を用いてツイートの内容が修造BOTとイチローBOTのどちらに分類されるかを識別する。自分用の備忘録として纏めていますので、若干分かりづらい所があると思いますので悪しからず。 間違いがあれば指摘頂けると嬉しいです。 学…

環境 CentOS6 mecab-ipadic-neologdとは？ mecab標準のシステム辞書の拡張の為の新語辞書。 辞書は月に数回更新されており定期的に新語が追加されている。 ※ipadicは2007年を最後に更新が止まっている更新された辞書を反映する為には都度以下の作業（mecab-i…

環境 CentOS6 python3.5 手順 Twitter API Keyを取得する。Twitterアカウント作成後、以下にアクセス。 ※アカウント登録には電話番号のひも付けが必要 https://apps.twitter.com/「Create New App」をクリックweb siteには「http://127.0.0.1」を入力しても…

ワンライナーコマンドで日本語をURLエンコードしてHTTPリスエストパラメータに設定。 ※nkfのインストールが必要です 複数パラメータには非対応・・・ key=`echo ピカチュウ | nkf -WwMQ | tr = %` ; curl http://localhost:8000/?key=${key}

環境 CentOS6 python3.5.1 gunicorn19.6.0 falcon-1.0.0 はじめに gunicornはPython製のWSGIサーバ。 WSGIサーバーとはWEBサーバーとWebアプリケーションをつなぐサーバ。 今回はwebアプリケーションにpythonのWEBフレームワークfalconを利用する。前回の記…

環境 CentOS6 python3.5.1 falcon-1.0.0 はじめに falconはpythonのWEBフレームワークの1つでAPIに特化しており速度が早いらしい。 今回falconを使ってget/postに対応してjsonを返すapiを作成してみる。 手順 falconインストール pip install --upgrade falc…

環境 CentOS6 はじめに 勝手な解釈をすると、 pyenv pyenvとはpythonのバージョンを複数同居させる際にデフォルトのpythonバージョンを自由に切り替える事が出来るもの。 pythonは2系と3系で互換性が無い為、バージョンが異なるpythonを実行する際に切り替え…

環境 CentOS6 Python3.5 手順 toriaezu-engineer.hatenablog.com前回の記事のdoc2vecではデフォルトのdoc2vec,word2vecをカスタマイズするものであり、色々ハマったりWarningログが解決出来なかったのでカスタマイズ無しで使用する方法を調査。 doc2vec利用…

環境 VMware Player(CentOS6) python3.5 手順 こちらのsatomacotoさんの記事を参考に進めます。 satomacoto: doc2vecに類似ラベル・ワードを探すメソッドの追加 gensimのdoc2vecを利用します。ライブラリをインストール [root@localhost ~]# pip3.5 install …

環境 VMware PlayerのCentOS6 手順 学習データにはWikipediaのデータを利用。 ライブラリをpipインストール pip install numpy pip install scipy pip install --upgrade gensimwp2txtインストール CentOSにwp2txtインストール - とりあえずシステムエンジニ…

よく忘れるので個人用にまとめ。 都度アップデートする。複数行、半角シフト4つでインデントする。 上2つが無いとタブでインデントされるので注意。 :set expandtab :set tabstop=2 :set shiftwidth=4shift + v でVISUALモードで行選択 j(下)かk(上)でインデ…

やりたい事 VMwarePlayer上のCentOSのディスクサイズを30GBから100GBに増やす 環境 VMwarePlayer CentOS6.6 用語 PV＝Phisical Volume＝物理ディスク LV＝Logical Volume＝論理ボリューム VG＝Volume Group＝ボリュームグループ 手順 作業前の状態 [root@loc…

匿名クラス = 無名クラス 以下が分かりやすかった 匿名クラスとは : JavaA2Z たとえば、Arraysクラスのsort()メソッドで「降順ソート」をしたい場合にComparatorインターフェイスの実装クラスを作る必要がある場合など、「他では使わず、その場でしか使わな…

Wikipediaのデータをパースする為wp2txtをインストールする。 前提 rubyのインストール toriaezu-engineer.hatenablog.com 手順 $ gem install bundle $ mkdir ~/ruby_bundle $ cd ~/ruby_bundle $ bundle init Writing new Gemfile to /file_to_path/ruby_b…

gitをインストール yum -y install git後は以下のリンク先の手順で問題無くインストールできた。 kzy52.com

よく使うgitコマンド纏め。 個人用備忘録都度アップデートする gitコマンド ステージング状態確認 git status 全て追加 git add -A 全てコミット git commit -a push git push後から.gitignoreの設定をした際に、既にリポジトリ登録済みの.gitignore対象ファ…

環境 CentOs6.6 mecabダウンロード 依存ライブラリをダウンロード $ yum install gcc $ yum install gcc-c++http://taku910.github.io/mecab/#download にアクセスして最新版のmecabをダウンロードして適当なパスへ配置。 tar xvfz mecab-0.996.tar.gz cd me…

CentOS6.6で日本語入力が出来るよう設定しようとしたが、 「入力メソッドの個人設定」が開かない。。 対処方法 さくらVPSのCentOSにXming経由で日本語変換環境を入れてみる｜LastShogunのブログが参考なったコンソールで im-chooser &を実行すると入力メソッ…

環境 Windows10 cygwin word2vec 0.91 pyton3.5.1 事象 こんな感じで「KeyError」ってエラー発生 $ python-windows -i Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:18:55) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credit…

こんな感じで出来た。 body.getText()でタグ含むテキスト文字列を取得 soup = BeautifulSoup(open("hoge.html")) script = soup("script") for tag in script: tag.extract() body = soup.body text = body.getText() script全てをループするのであまり良く…

pythonを勉強しはじめの頃はprintでログ出力していたが、そろそろ規模も大きくなってきて運用も視野に入れpythonでのロギング機能を実装してみる。標準出力と/tmp/test.logの両方にログ出力する場合の例 ログレベルはDEBUG from logging import getLogger,Fo…

環境 Windows10(64bit) Python3.5 cygwin scrapy1.1 手順 cygwinで作業。 pip-windowsはwindowsのPythonのalias。scrapyをインストール $ pip-windows install scrapyプロジェクトの雛形作成 crawl_testというプロジェクトを作成する。 $ scrapy startprojec…

Visual Studio Express 2015 Python ToolsでPythonコード中でF9を押してブレークポイントを設定してデバッグ実行。別ウインドウが開いて 「アプリケーションはデバッグモードになっています」 って表示されてブレークポイントでとまらない。。そして下記エラ…

Visual Studio Express 2015 Python Toolsで引数を渡して実行する方法例として、プロジェクト直下にtest1.py test2.pyのPythonコードがあるとする。test1.pyに引数を渡して実行したい場合は ソリューションエクスプローラーでtest1.pyを右クリックして [Set …