http://qiita.com/ynakayama/items/ca3f5e9d762bbd50ad1f を参考にscikit-learn（サイキット・ラーン）を利用してナイーブベイズ分類器を実装。 多項分布を仮定したMultinomialNBを用いた処理の実行で以下の警告が発生した。 /root/.pyenv/versions/3.5.0/li…

やりたい事 ナイーブベイズ分類器を用いてツイートの内容が修造BOTとイチローBOTのどちらに分類されるかを識別する。自分用の備忘録として纏めていますので、若干分かりづらい所があると思いますので悪しからず。 間違いがあれば指摘頂けると嬉しいです。 学…

環境 CentOS6 mecab-ipadic-neologdとは？ mecab標準のシステム辞書の拡張の為の新語辞書。 辞書は月に数回更新されており定期的に新語が追加されている。 ※ipadicは2007年を最後に更新が止まっている更新された辞書を反映する為には都度以下の作業（mecab-i…

環境 CentOS6 python3.5 手順 Twitter API Keyを取得する。Twitterアカウント作成後、以下にアクセス。 ※アカウント登録には電話番号のひも付けが必要 https://apps.twitter.com/「Create New App」をクリックweb siteには「http://127.0.0.1」を入力しても…

ワンライナーコマンドで日本語をURLエンコードしてHTTPリスエストパラメータに設定。 ※nkfのインストールが必要です 複数パラメータには非対応・・・ key=`echo ピカチュウ | nkf -WwMQ | tr = %` ; curl http://localhost:8000/?key=${key}

環境 CentOS6 python3.5.1 gunicorn19.6.0 falcon-1.0.0 はじめに gunicornはPython製のWSGIサーバ。 WSGIサーバーとはWEBサーバーとWebアプリケーションをつなぐサーバ。 今回はwebアプリケーションにpythonのWEBフレームワークfalconを利用する。前回の記…

環境 CentOS6 python3.5.1 falcon-1.0.0 はじめに falconはpythonのWEBフレームワークの1つでAPIに特化しており速度が早いらしい。 今回falconを使ってget/postに対応してjsonを返すapiを作成してみる。 手順 falconインストール pip install --upgrade falc…

環境 CentOS6 はじめに 勝手な解釈をすると、 pyenv pyenvとはpythonのバージョンを複数同居させる際にデフォルトのpythonバージョンを自由に切り替える事が出来るもの。 pythonは2系と3系で互換性が無い為、バージョンが異なるpythonを実行する際に切り替え…

環境 CentOS6 Python3.5 手順 toriaezu-engineer.hatenablog.com前回の記事のdoc2vecではデフォルトのdoc2vec,word2vecをカスタマイズするものであり、色々ハマったりWarningログが解決出来なかったのでカスタマイズ無しで使用する方法を調査。 doc2vec利用…

環境 VMware Player(CentOS6) python3.5 手順 こちらのsatomacotoさんの記事を参考に進めます。 satomacoto: doc2vecに類似ラベル・ワードを探すメソッドの追加 gensimのdoc2vecを利用します。ライブラリをインストール [root@localhost ~]# pip3.5 install …

環境 VMware PlayerのCentOS6 手順 学習データにはWikipediaのデータを利用。 ライブラリをpipインストール pip install numpy pip install scipy pip install --upgrade gensimwp2txtインストール CentOSにwp2txtインストール - とりあえずシステムエンジニ…

よく忘れるので個人用にまとめ。 都度アップデートする。複数行、半角シフト4つでインデントする。 上2つが無いとタブでインデントされるので注意。 :set expandtab :set tabstop=2 :set shiftwidth=4shift + v でVISUALモードで行選択 j(下)かk(上)でインデ…

やりたい事 VMwarePlayer上のCentOSのディスクサイズを30GBから100GBに増やす 環境 VMwarePlayer CentOS6.6 用語 PV＝Phisical Volume＝物理ディスク LV＝Logical Volume＝論理ボリューム VG＝Volume Group＝ボリュームグループ 手順 作業前の状態 [root@loc…

匿名クラス = 無名クラス 以下が分かりやすかった 匿名クラスとは : JavaA2Z たとえば、Arraysクラスのsort()メソッドで「降順ソート」をしたい場合にComparatorインターフェイスの実装クラスを作る必要がある場合など、「他では使わず、その場でしか使わな…

Wikipediaのデータをパースする為wp2txtをインストールする。 前提 rubyのインストール toriaezu-engineer.hatenablog.com 手順 $ gem install bundle $ mkdir ~/ruby_bundle $ cd ~/ruby_bundle $ bundle init Writing new Gemfile to /file_to_path/ruby_b…

gitをインストール yum -y install git後は以下のリンク先の手順で問題無くインストールできた。 kzy52.com

よく使うgitコマンド纏め。 個人用備忘録都度アップデートする gitコマンド ステージング状態確認 git status 全て追加 git add -A 全てコミット git commit -a push git push後から.gitignoreの設定をした際に、既にリポジトリ登録済みの.gitignore対象ファ…

環境 CentOs6.6 mecabダウンロード 依存ライブラリをダウンロード $ yum install gcc $ yum install gcc-c++http://taku910.github.io/mecab/#download にアクセスして最新版のmecabをダウンロードして適当なパスへ配置。 tar xvfz mecab-0.996.tar.gz cd me…

CentOS6.6で日本語入力が出来るよう設定しようとしたが、 「入力メソッドの個人設定」が開かない。。 対処方法 さくらVPSのCentOSにXming経由で日本語変換環境を入れてみる｜LastShogunのブログが参考なったコンソールで im-chooser &を実行すると入力メソッ…

環境 Windows10 cygwin word2vec 0.91 pyton3.5.1 事象 こんな感じで「KeyError」ってエラー発生 $ python-windows -i Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:18:55) [MSC v.1900 64 bit (AMD64)] on win32 Type "help", "copyright", "credit…