LINEが日本語の自然言語処理モデルを「GPT-3」に匹敵するレベルで開発すると発表

LINE株式会社はNAVERと共同で、世界で初めての日本語に特化した超巨大言語モデル開発を発表した。

超巨大言語モデル（膨大なデータから生成された汎用言語モデル）は、AIによる、より自然な言語処理・言語表現を可能にする。日本語に特化した超巨大言語モデル開発は、世界でも初めての試み。

従来の言語モデルは、各ユースケース（Q&A、対話、等）に対して、自然言語処理エンジニアが個別に学習する必要があった（特化型言語モデル）。

一方、汎用言語モデルとは、OpenAIが開発した「GPT」や、Google の「T5」に代表される言語モデル。新聞記事や百科事典、小説、コーディングなどといった膨大な言語データを学習させた言語モデルを構築し、その上でコンテキスト設定を行うための「Few-Shot learning」（書き出しやプログラミングコードの一部などを与えること）を実行するだけで、さまざまな言語処理（対話、翻訳、入力補完、文書生成、プログラミングコード等）を行うことが可能となり、個々のユースケースを簡単に実現できることが期待されるという。

今回、日本語に特化した汎用言語モデルを開発するにあたり、1750億以上のパラメーターと、100億ページ以上の日本語データを学習データとして利用する予定。これは現在世界に存在する日本語をベースにした言語モデルのパラメーター量と学習量を大きく超えるもので、パラメーター量と学習量については、今後も拡大していく。

この取り組みにより、日本語におけるAIの水準が格段に向上し、日本語AIの可能性が大きく広がることが予想される。

現在、超巨大言語モデルは、OpenAIが開発し、Microsoftがライセンスを保有する「GPT-3」など、英語のみが存在・商用化しており、他言語の開発については、少数の取り組みしか行われていない。

その理由の一つとして、高度なインフラ環境の必要性があり、その処理には数百ギガバイトものメモリーが必要と考えられている。これには世界でも指折りの性能を持つスーパーコンピュータなど、高度なインフラ環境が必要。

今回LINEはNAVERと共同で、当モデルを迅速かつ安全に処理できる700ペタフロップス以上の性能を備えた世界でも有数のスーパーコンピュータを活用し、超巨大言語モデルの土台となるインフラの整備を年内に実現させる予定だ。

開発された超巨大言語モデルは、新しい対話AIの開発や検索サービスの品質向上など、AIテクノロジーブランド「LINE CLOVA」をはじめとするLINE社のサービスへの活用のほか、第三者との共同開発や、APIの外部提供についても検討予定としている。

ニュースリリース
https://linecorp.com/ja/pr/news/ja/2020/3508