ニュース

rinna社、日本語に特化したGPT-2の大規模言語モデルをオープンソース化

AI Start Lab 編集部 2021.4.16
マイクロソフトから独立し、AIチャットボット「りんな」を手がけるrinna(リンナ)社は、自然言語処理(NLP)の実験過程で構築した、日本語に特化したGPT-2の大規模言語モデルをGitHub、およびNLPモデルライブラリHuggingFaceで、オープンソースとして公開した。

今回公開した日本語GPT-2モデルは、一般的な日本語テキストの特徴を有した高度な日本語文章を自動生成できる。ユーザー・研究者は、特定のテキストデータを微調整して、このモデルから独自のモデルを作成することも可能だという。

書籍の紹介のコンテキストで文章生成したデモ

トレーニングデータとして、CC-100のオープンソースデータを使用。NVIDIA Tesla V100 GPUを用いて、70ギガバイトの日本語テキストを約1カ月の長期間にわたってトレーニングしたもの。

ユーザー・研究者が簡単にアクセスできるように、開発したモデルをHuggingFaceに公開し、研究者が自分のマシンで当社の結果を再現できるように、トレーニングコードをGitHubに公開している。

rinna社は今後も、異なるテキストスタイルや異なるデータ量を含む、より高精度でより大規模な言語モデルの研究開発を続け、AIチャットボットの能力を高めていくとともに、日本語の研究コミュニティのために、モデルをオープンソース化も進めるとしている。


プレスリリース

印刷ページを表示
WRITTEN by

AI Start Lab 編集部

AI・人工知能のビジネス活用についての情報をさまざまな視点からお伝えしていきます。

AIのビジネス活用に関する
最新情報をお届け

会員登録

会員登録していただくと、最新記事やAI関連のイベント情報を受け取れたり、その他会員限定コンテンツの閲覧が可能です。是非ご登録ください。