洋食の日記

「だ・である」調ではなく「です・ます」調で書きはじめれば良かったなと後悔してる人のブログです

3ヶ月間大規模言語モデル関連の開発に力をいれてみた

花粉症なので、洗濯後に外干しはせずに、コインランドリーで乾燥機にかけている。乾燥機が止まるまで暇なのでKindleで本を読んでいる。その中で、「3か月」の使い方で人生は変わる、を読んだ。著者はGoogleに務めた経験があり、Googleでは3ヶ月周期でプロジェクトをまわしていたらしい。この3ヶ月というのがちょうど良いと、著者の武勇伝とともに語られる。

個人の開発を、そのように期間を区切って進めたことがなかったので、試しに大規模言語モデル(Large Language Model, LLM)関連の開発を3ヶ月間がんばってみた。結果として、llama.cppとsentencepieceのRubyバインディングを作ることができた。また、以前から作っていた、HnswlibのRuby/Node.jsバインディングもLangChain系ライブラリに採用されることでダウンロード数を伸ばした。それらライブラリの要望に応える形で、spaceオプションにcos類似度を追加した(使用する人がspaceオプションをl2にしてベクトルをL2正規化すれば良いと思って実装してなかった)。LangChain系のライブラリに採用されるのは良かったが、LangChain側でissueを立てたほうが良いような内容など、どうしてあげようもないissueが増えて困った。精神の健康のため、もう放っておいている。

3ヶ月間と決めてガンバるのを試してみて、個人開発でも、ある程度の目標・指針があった方が良いかなと思った。というのも、個人開発の時間があまり取れなくなってきていて、どこに力を使うかの取捨選択が必要になってきた。この3ヶ月は〇〇〇に集中する、と決めれば、〇〇〇と関係がない開発をあきらめやすくなる。

7月からの3ヶ月はなにをしようか、この土日で考えたかったが、まだ決まってない。