環境 Windows10 cygwin gradle前提として、gradleがインストール済みである事。 WindowsでビルドツールGradleをインストールして使ってみる - ボールを蹴りたいシステムエンジニア 手順 jarライブラリをgradleを使用してダウンロードする方法。 以下はgsonの…

Jenkinsでビルド失敗時にメール送信する方法。 今回はSMTPにGmailメールサーバーを使用する。 環境 手順 Jenkinsでのメール設定 プロジェクト個別のメール設定 参考 環境 CentOS 6.6 jenkins-2.25 手順 Jenkinsでのメール設定 JenkinisのTOPページより [Jenk…

treeコマンドなるもので出来るらしい。 treecygwinでtreeコマンドが入ってなかったので、以下のコマンドで実現できた。 参考サイトから参考にしているのでコマンド詳細は分かりません。。 pwd;find . | sort | sed '1d;s/^\.//;s/\/\([^/]*\)$/|--\1/;s/\/[^…

Gradleでビルドする際に、ローカル環境と商用環境で設定ファイルの値を変更したい。 設定ファイル内の指定キーの値を書き換える方法があればスマートだなと思って調査したけれどもそのような方法は見つからず。 方法としては2つあった。 設定ファイル内で置…

Gradleでコンパイル実行時のソース出力先がmain,test,resourseで異なるので、通常のコンパイル同様にclasses直下に全て出力してみる。デフォルト時、以下のように設定した場合は sourceSets { main { java { srcDir 'src/' } resources { srcDir 'resources'…

環境 手順 参考 環境 CentOS 6.6 phantomjs 2.1.1 手順 ダウンロード 最新版はこちらから http://phantomjs.org/download.html cd /usr/local/src/ wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2 tar jxf pha…

やりたい事 環境 秘密鍵/公開鍵の作成配置 クライアント(jenkins)側での作業 gitサーバー側での作業 Jenkins設定 jenkinsにgitプラグインをインストールする。 プロジェクト作成、設定 ビルドしてみる やりたい事 独自のjenkinsサーバーとgitサーバー（それ…

環境 CentOS 6.6 ※VMWare git 2.10.0 手順 yumからインストールすると古いバージョンになるらしいのでソースからインストールします。依存ライブラリをインストール yum -y install curl-devel expat-devel gettext-devel openssl-devel zlib-devel perl-Ext…

PhantomJS+Seleniumでテスト自動化をしようした所、以下のsendKeysでエラー発生。 PhantomJSDriver driver = new PhantomJSDriver(capabilities); ～省略～ WebElement userInput = driver.findElement(By.name("mail")); userInput.sendKeys(user); WebElem…

ログの出力形式はデフォルトの状態。 $ less scrapy.log | grep "DEBUG: Crawled" | awk -F '[<>]' '{print $2}' | sort | uniq -c同じURLを複数回クロールしてないか調べる為sortとuniqをしてみたけど、そんな事はしてなかった。 一度クロールしたURLはクロ…

環境 手順 gradleインストール jenkinsでのgradle設定 ジョブ作成 Javaプロジェクトのプロジェクトをワークスペースに配置 ビルドエラー1 ビルドエラー2 参考 環境 CentOS 6.6 java 1.8.0_66 jenkins-2.25 gradle-3.1 手順 gradleインストール Linux(CentOS)…

環境 CentOS 6.6 java 1.8.0_66 jenkins-2.25 gradle-3.1 手順 javaは既にインストールされてるものとします。gradleのホームページへ行きダウンロードURLを確認 Download Gradle l Open Source Enterprise Build Automation今回は3.1をインストールするダウ…

目次 目次 インストール 手順 参考 Windows10 cygwin Gradle 2.4 インストール ビルドツールGradleをインストールして使ってみる - ボールを蹴りたいシステムエンジニア 手順 junitのライブラリを配置。 lib/junit-4.11.jar適当なテストクラス作成、今回は②…

目次 目次 環境 手順 Java8インストール Jenkinsインストール 参考 環境 CentOS 6.6 java 1.8.0_66 jenkins-2.25 手順 Jenkins を動かすためには、Java6以上がインストールされている必要があるようです。 javaがインストールされてるか確認。 [root@localho…

VMware上のTomcatにホストマシン（Winsows10）からブラウザでアクセスする為に、Tomcatのポートを開放する。 環境 CentOS 6.6 手順 iptables編集 [root@localhost src]# vi /etc/sysconfig/iptables追記 -A INPUT -m state --state NEW -m tcp -p tcp --dpor…

scrapyで独自設定値を設定ファイルに追加して利用する方法。setting.pyに追記 TESTKEY = HOGEHOGE こんな感じで利用 from scrapy.conf import settings ～～～ value = settings.get("TESTKEY") int型、boolean型、float型の指定も出来るみたい。 settings.g…

spidersパッケージ内のクロール処理メインのモジュールで以下のようにmake_requests_from_urlを定義してその中でcookieセット処理を実装する事でログインが必要なサイトでもクロールできた。 class ExampleSpider(CrawlSpider): ～～～ def make_requests_fr…

Python製のクローラーフレームワークscrapyを使用してクローラーを構築する。 目次 目次 環境 やりたい事 scrapyのインストール 手順 クローラプロジェクトの雛形作成 スパイダーの作成 起点URLを定義 アイテムクラスを実装 パース処理実装 Scrapy Shellによ…

WindowsでのPython開発環境。 試行錯誤の上ようやく落ち着いてきたので纏め。 随時更新する。全然最強じゃ無いじゃん、とかのツッコミは無しで。 目次 目次 環境 希望する開発環境 Python for Windows 64bit PyDev(Eclipseプラグイン） 色々試したがイマイチ…

Windows環境でgensimのword2vecを利用してみる。 環境 Windows10 64bit前提として、 依存ライブラリである、numpyやscipyも以下リンク先よりwhlからpipインストール。 手順 http://www.lfd.uci.edu/~gohlke/pythonlibs/#gensim にアクセスし gensim-0.13.2-c…

WindowsでのPython開発はVisual Studio Express 2015 Python Toolsを使ってたんだけど、どうやら30日間の評価期間を超えたら使用できないようでしたのでIDE乗り換え。EclipseのプラグインpyDevが良さそうなのでインストールして使ってみる。 環境 手順 おわ…

Windows環境でpythonの機械学習ライブラリscipyをインストールしようとしてハマったのでメモ。 環境 事象 対処 ハマった原因 参考 環境 Windows10 64bit Python for Window 3.5.1 事象 事前にnumpyはインストール済みの状態で、pipでscipyをインストールしよ…

気づいたらvimでpython開発をやっている日々。。 開発環境を整えようかと思い、vimのプラグインでpythonコードの補完をしようと思いました。で、pythonコード補完のプラグインを調査してみるとjedi-vimというプラグインがありましたが、インストールの為には…

http://qiita.com/ynakayama/items/ca3f5e9d762bbd50ad1f を参考にscikit-learn（サイキット・ラーン）を利用してナイーブベイズ分類器を実装。 多項分布を仮定したMultinomialNBを用いた処理の実行で以下の警告が発生した。 /root/.pyenv/versions/3.5.0/li…

やりたい事 ナイーブベイズ分類器を用いてツイートの内容が修造BOTとイチローBOTのどちらに分類されるかを識別する。自分用の備忘録として纏めていますので、若干分かりづらい所があると思いますので悪しからず。 間違いがあれば指摘頂けると嬉しいです。 学…

環境 CentOS6 mecab-ipadic-neologdとは？ mecab標準のシステム辞書の拡張の為の新語辞書。 辞書は月に数回更新されており定期的に新語が追加されている。 ※ipadicは2007年を最後に更新が止まっている更新された辞書を反映する為には都度以下の作業（mecab-i…

環境 CentOS6 python3.5 手順 Twitter API Keyを取得する。Twitterアカウント作成後、以下にアクセス。 ※アカウント登録には電話番号のひも付けが必要 https://apps.twitter.com/「Create New App」をクリックweb siteには「http://127.0.0.1」を入力しても…

ワンライナーコマンドで日本語をURLエンコードしてHTTPリスエストパラメータに設定。 ※nkfのインストールが必要です 複数パラメータには非対応・・・ key=`echo ピカチュウ | nkf -WwMQ | tr = %` ; curl http://localhost:8000/?key=${key}

環境 CentOS6 python3.5.1 gunicorn19.6.0 falcon-1.0.0 はじめに gunicornはPython製のWSGIサーバ。 WSGIサーバーとはWEBサーバーとWebアプリケーションをつなぐサーバ。 今回はwebアプリケーションにpythonのWEBフレームワークfalconを利用する。前回の記…

環境 CentOS6 python3.5.1 falcon-1.0.0 はじめに falconはpythonのWEBフレームワークの1つでAPIに特化しており速度が早いらしい。 今回falconを使ってget/postに対応してjsonを返すapiを作成してみる。 手順 falconインストール pip install --upgrade falc…