Numo::Linalgのバックエンドライブラリを良い感じに読み込むライブラリを作った

はじめに

Numo::Linalgは、numpy.linalgに相当するもので、QR分解や特異値分解を行うメソッドを提供する。これら線形代数の機能は、いわゆるBLAS/LAPACK系のバックエンドライブラリの関数を呼び出すことで実現している。このバックエンドライブラリは、まだ開発途中（？）にあるため、.soファイルを読み込むようになっている。例えばmacOSでは、共有ライブラリの拡張子が.dylibになるため、バックエンドライブラリを指定する必要がある。これについては、詳細なドキュメントが先日公開された（感謝）。

Numo::Linalg - Selecting Backend Library

一方で、Numo::Linalgを使ったライブラリを作っていると「シンプルにrequire 'hoge'とかで上手いことできれば便利だな〜」という気持ちもあり、個人的にローダーを作っていた。元日だし、せっかくなので、gemとして公開することにした。

numo-linalg-autoloader | RubyGems.org | your community gem host

インストール

$ gem install numo-linalg-autoloader

使い方

requireするだけでよい。バックエンドライブラリを読み込むのに失敗するとRuntimeErrorだします。

require 'numo/linalg/autoloader'

仕組み

RbConfig::CONFIG['host_os']でOSを取ってきて、適切な拡張子を選択する。そして、Intel MKL, OpenBLAS, BLAS/LAPACKの順に、インストールされているだろうディレクトリを探していく。環境変数のLD_LIBRARY_PATHが設定されていれば、そこを優先的に探すようにしている。一通り必要なライブラリがそろったものを、バックエンドライブラリとして読み込む。

numo-linalg-autoloader/autoloader.rb at master · yoshoku/numo-linalg-autoloader · GitHub

ATLASは、UbuntuとCentOSのパッケージでファイル名が異なったこと、macOSでは（例えばHomebrewなど）簡単にインストールする術がなかったのでサポートしなかった。OpenBLASも、UbuntuのパッケージではLAPACKのインターフェースを含まないなどの違いがあるので、ソースからビルドしてインストールすることをおすすめする。この他、macOSでは、Accelerate FrameworkでBLAS/LAPACKは提供されているが、LAPACKEは提供されていない（ので、Homebrewなどでインストールする必要があるが、うまみはあまりない）。Intel MKLかOpenBLASを使用することをおすすめする。

おわりに

私自身Numo::NArrayとNumo::Linalgのユーザーなので、上記の様なOSなど環境に依らないバックエンドライブラリを読み込む仕組みが、Numo::Linalgに組み込まれるまでサポートするつもりでいます。あと勝手に（Numo::Linalg::Autoloaderという）クラス生やして申し訳ありません 🙇🏻‍♂️ 🙇🏻‍♂️ 🙇🏻‍♂️

つまらないものですが、よろしくお願い致します。

SVMKitで使用する線形代数ライブラリをNumo::NArrayに移行した

SVMKitでは、線形代数ライブラリにNMatrixを使用していたが、パフォーマンスと将来性からNumo::NArrayに移行した。Numo::NArrayのメソッド等は、NMatrixともNumpyとも違うが、specを用意しておいて淡々と作業した。思い切った移行だけど、ユーザーも少ないので大丈夫と思いたい😅

つまらないものですが、よろしくお願い致します。

svmkit | RubyGems.org | your community gem host

vimのnativeなpackage管理でsyntasticをインストールした

はじめに

rubocopするのを忘れがちで、vimで（自動で）できてくれると嬉しいので、syntasticを入れることにした。使ってるvimのバージョンは8.0.1200なので、nativeなpackage管理を使ってインストールすることにした。

インストール

パッケージを入れるためのディレクトリを作って、そこにsyntasticをgit cloneするだけでよい。

$ mkdir -p ~/.vim/pack/plugins/start
$ cd ~/.vim/pack/plugins/start/
$ git clone --depth=1 https://github.com/vim-syntastic/syntastic.git

.vimrcは以下のとおり。設定については、公式のモノやカッコイイ感じのモノを参考にすると良い。

" set statusline=%F とかがあって
set statusline+=%#warningmsg#
set statusline+=%{SyntasticStatuslineFlag()}
set statusline+=%*

let g:syntastic_always_populate_loc_list = 0
let g:syntastic_auto_loc_list = 0
let g:syntastic_check_on_open = 1
let g:syntastic_check_on_wq = 1
" rubocop動かしますよ〜
let g:syntastic_ruby_checkers = ['rubocop']

おわりに

ガリガリ書いてる段階で自動でrubocopが走るのが重い。もうちょっと考える。

機械学習ライブラリSVMKitにカーネルSVMを追加した

はじめに

Pure Rubyな機械学習ライブラリSVMKitにカーネルSVMを追加しました。カーネルSVMは、Pure Rubyでは速度的にツラいものがあるかな？と思っていたが、機械学習ライブラリとしては実装されているべきものなので追加した。※それ以前にLogistic Regressionを追加したけどブログに書くのを失念した...

svmkit | RubyGems.org | your community gem host

インストール

行列・ベクトルをあつかうのでNMatrixに依存する。

$ gem install nmatrix svmkit

使い方

Pythonのscikit-learnライクを意識してきたけど、今回はちょっと違うものにしてみた。 入力データとして、特徴ベクトルを与えるのが機械学習ライブラリでは一般的だが、SVMKitではカーネル行列を与える形にした。libsvmでいうところのprecomputed kernelという形式となる。 これは、世にある全てのカーネル関数を実装するのは難しいことと、ライブラリ利用者が適切なカーネルを選択できるように、という思いから。RBFカーネルやシグモイドカーネルは実装してある。

libsvm dataのサイトにあるpendigitsデータセットを読み込んで、分類するコードは以下の通り。 まずは、分類機の訓練から。

require 'svmkit'
require 'libsvmloader'

# libsvm形式の訓練データセットを読み込む。
samples, labels = LibSVMLoader::load_libsvm_file('pendigits', stype: :dense)

# RBFカーネル行列を計算する。※パラメータγは0.005とした。
kernel_matrix = SVMKit::PairwiseMetric::rbf_kernel(samples, nil, 0.005)

# カーネルSVMを用意する。
base_classifier =
  SVMKit::KernelMachine::KernelSVC.new(reg_param: 1.0, max_iter: 1000, random_seed: 1)

# one-vs-restで多値分類器とする。
classifier = SVMKit::Multiclass::OneVsRestClassifier.new(estimator: base_classifier)

# 分類器を訓練する。
classifier.fit(kernel_matrix, labels)

# 分類器を保存する。
File.open('trained_classifier.dat', 'wb') { |f| f.write(Marshal.dump(classifier)) }

そして、訓練済みの分類器を読み込んで、テストデータを分類するコード。

require 'svmkit'
require 'libsvmloader'

# libsvm形式のテストデータセットを読み込む。
samples, labels = LibSVMLoader::load_libsvm_file('pendigits.t', stype: :dense)

# カーネル行列を計算するために、訓練データセットも読み込む。※ラベル情報は不要
tr_samples, = LibSVMLoader::load_libsvm_file('pendigits', stype: :dense)

# 訓練済みの分類器を読み込む。
classifier = Marshal.load(File.binread('trained_classifier.dat'))

# テストデータ-訓練データ間でRBFカーネル行列を計算する。
kernel_matrix = SVMKit::PairwiseMetric::rbf_kernel(samples, tr_samples, 0.005)

# テストデータのラベルを推定し、分類結果のAccuracyを出力する。
puts(sprintf("Accuracy: %.1f%%", 100.0 * classifier.score(kernel_matrix, labels)))

結果としてAccuracyは97.6%となった。

トイデータでの実験

訓練データがこれで、

テストデータがこれ。

テストデータのラベルを、SVMKitのカーネルSVMで学習して推定すると、

こうじゃ!!うまく非線形データを分類できている。

おわりに

つまらないものですが、よろしくお願い致します。

Pure RubyなSupport Vector Machineのgemを公開した

はじめに

RubyにPythonのscikit-learnに相当するライブラリがない様なので、作ってみることにした。ひとまず、Support Vector Machine（SVM）による多値分類が実装できたので、gemとして公開することにした。今後、他の機械学習アルゴリズムも追加していく。

svmkit | RubyGems.org | your community gem host

インストール

行列・ベクトルをあつかうのでNMatrixに依存する。

$ gem install svmkit

使い方

インターフェースは、scikit-learnライクにした。libsvm dataのサイトにあるpendigitsデータセットを読み込んで、分類するコードは以下の通り。 まずは、分類機の訓練から。

require 'svmkit'
require 'libsvmloader'

# libsvm形式の訓練データセットを読み込む。
samples, labels = LibSVMLoader.load_libsvm_file('pendigits', stype: :dense)

# 特徴量の値を[0,1]の範囲に正規化する。
normalizer = SVMKit::Preprocessing::MinMaxScaler.new
normalized = normalizer.fit_transform(samples)

# RBFカーネル空間に（カーネル近似法で）射影する。
transformer = SVMKit::KernelApproximation::RBF.new(gamma: 2.0, n_components: 1024, random_seed: 1)
transformed = transformer.fit_transform(normalized)

# ベースとなる2値分類のSVMを定義して、
base_classifier =
  SVMKit::LinearModel::PegasosSVC.new(penalty: 1.0, max_iter: 50, batch_size: 20, random_seed: 1)
# それを、One-vs.-Rest法で多値化する。
classifier = SVMKit::Multiclass::OneVsRestClassifier.new(estimator: base_classifier)
# そして、分類器を学習する。
classifier.fit(transformed, labels)

# 各種モデルを保存する。
File.open('trained_normalizer.dat', 'wb') { |f| f.write(Marshal.dump(normalizer)) }
File.open('trained_transformer.dat', 'wb') { |f| f.write(Marshal.dump(transformer)) }
File.open('trained_classifier.dat', 'wb') { |f| f.write(Marshal.dump(classifier)) }

そして、訓練済みの分類器を読み込んで、テストデータを分類するコード。

require 'svmkit'
require 'libsvmloader'

# libsvm形式のテストデータセットを読み込む。
samples, labels = LibSVMLoader.load_libsvm_file('pendigits.t', stype: :dense)

# 各種モデルを読み込む。
normalizer = Marshal.load(File.binread('trained_normalizer.dat'))
transformer = Marshal.load(File.binread('trained_transformer.dat'))
classifier = Marshal.load(File.binread('trained_classifier.dat'))

# 正規化とカーネル空間への射影を行う。
normalized = normalizer.transform(samples)
transformed = transformer.transform(normalized)

# テストデータセットのラベルを推定する。
# predicted_labels = classifier.predict(transformed, labels)

# Accuracyを出力する。
puts(sprintf("Accuracy: %.1f%%", 100.0 * classifier.score(transformed, labels)))

実装よもやま話

• SVMのアルゴリズムには、確率的勾配降下法によるPegasosを選択した。 事前に、他のアルゴリズムも試したが、Pure Rubyでそれなりの速度で動くのがPegasosだった。 同じく速度の問題で、直接的なカーネル法による非線形化はあきらめて、ランダムプロジェクションによるカーネル近似を実装した。
• SVMの多値分類器化には、ひとまず、One-vs.-Rest（OvR）を選択した。scikit-learnでは、OvRなどを内包して、multiclassモジュールを意識的に使わなくて良いようになっている。SVMKitでは、明示的に使う方向とした。
• 学習済みのモデルの保存・読込には、Marshalによるシリアライズを使用することにした。 これは、scikit-learnでは、joblib.dumpを使用することに対応させてである。Marshal.loadを使うことに関しては、rubocop先輩サーセンといった感じ。

おわりに

今後は、scikit-learn内のベーシックな手法を実装していきたい。ある程度、中身が充実してきたら、gem名を変えると思う。次は、決定木系のアルゴリズムの実装かなぁ。つまらないものですが、よろしくお願い致します。