AIの力で
人間の可能性を
拡張する

Expanding Human Potential
Through the Power of AI NEWS

PLaMoの開発・社会実装強化のためPFEを親会社のPFNに統合

Generative
Artificial
Intelligence

世界的に注目が集まっている
生成AI領域

近年、自然言語での簡便な指示を用いて文章や画像を生成するAIが急速に普及しています。
そうした生成AIのコアとなる大規模言語モデルなどの新しいAI手法は「基盤モデル」と呼ばれ、今後あらゆる産業の基盤技術としてイノベーションをもたらすことが見込まれています。

Preferred Elements(PFE)は、Preferred Networks(PFN)の技術基盤を引き継ぐ形で発足し、既存の枠組みにとらわれない独自の基盤モデル開発を行なっています。

Product 製品紹介

国産基盤モデル PLaMo ™

日本語モデルとしては最大規模となる130億パラメータの大規模言語モデル
PLaMo ™-13B（Preferred Language Model）を、独自開発し、
研究・商用で利用可能なOSSライセンスで公開しております。

本モデルは、公開されている同規模のパラメータ数の言語モデルと比べ、
大規模言語モデルのベンチマーク評価において、日英２言語をあわせた能力で
世界トップレベルの高い性能を示しています。*1

Point_01

日英に対応した学習データ

PFEではPLaMo-13Bの開発にあたり、オープンデータセットを独自に収集・加工して、1.4兆トークン*2 の大規模な日英2言語の学習用データセットを作成し、NVIDIA A100を480GPU使用*3 して、1か月弱の学習を行いました。

英語に加え、日本語の学習データ量を増やすことで、130億パラメータというコンパクトなモデルでも日英2言語のベンチマーク評価で世界トップレベルの性能を実現しています。*1

日英2言語での性能比較

（ベンチマークスコアの偏差値の平均を各言語のスコアとしてプロット）
※より正しい比較のため、公開値より高いPFNで再評価したスコアを採用

Point_02

学習コストの低減

大規模言語モデルの学習は莫大な計算資源を必要とし、開発コストに直結します。
学習計算過程ではGPUメモリの大きさや通信帯域の制約がある為、複数GPU･複数ノードを活用する学習手法の高度化が不可欠です。
PLaMo-13Bにおいては様々な改善手法により実行効率40%という高い学習効率を実現し、学習コストの低減に成功しました。同ノウハウは再学習時や別モデル開発時にも応用できるものと見込まれます。

PFEはPLaMo-13Bの推論に必要なコード及びパラメータを、研究・商用利用が可能なライセンス(Apache License v2.0)で公開することで、日本語・英語ともに優れた性能を有する大規模言語モデルを使った様々な研究開発および検証を進められる環境を多くの開発者に提供します。

PLaMo-13Bの開発や技術の詳細については、PFNの開発チームによるTech Blog をご覧ください。
PLaMo活用事例: 汎用原子レベルシミュレータMatlantis ™への適用（CEATEC2023での紹介動画）

*1　モデル公開時点（2023.09.28）
*2　トークンは学習するテキストデータの基本的な単位
*3　AI橋渡しクラウド（AI Bridging Cloud Infrastructure、ABCI）の”第一回大規模言語モデル構築支援プログラム”を利用

Company 会社情報

president
message

代表メッセージ

Preferred Elementsは革新的なマルチモーダル基盤モデルの開発と提供に取組んでいます。こうしたモデルは言語や画像、センサデータなど幅広いデータを自由自在に扱い、データの背後にある世界を理解し、多様なタスクを巧みにこなすことができます。
こうした技術は未来の可能性を大きく広げるものですが、実現やその利用にあたっては多くの課題があります。
Preferred Elementsはこれまでにないような大規模なデータやモデルの効率的な学習を実現し、また安全かつ信頼性高く利用できるようにするための技術開発に尽力しています。

私達は基盤モデルが日常生活や社会のインフラとして不可欠な存在となると確信しています。
そして、こうしたモデルを通じて人々の能力や可能性を拡大していくことを目指しています。

代表取締役社長　岡野原大輔

Profile

2010年に東京大学にて博士(情報理工学)取得。
大学院在学中の2006年に、西川徹等とPreferred Networks(PFN)の前身となる株式会社Preferred Infrastructureを創業。
2014年3月に深層学習の実用化を加速するためPFNを創業。
現在はPFNの最高研究責任者として、深層学習の研究やその実用化に取組んでいる。

PFNとENEOSが共同開発した汎用原子レベルシミュレータ Matlantisの販売を行う株式会社Preferred Computational Chemistry、マルチモーダル基盤モデルの開発を行う株式会社Preferred Elementsの代表取締役社長を兼任。
「AI最前線」を日経Roboticsに連載中。
著書に「大規模モデルは新たな知能か」「拡散モデル」(岩波書店)、「AI技術の最前線-これからのAIを読み解く先端技術73」(日経BP)、「ディープラーニングを支える技術」(技術評論社)など。

サービス展開へ向けて

PFEでは今後、多様なタスクで活用するための複数モダリティ対応、偽情報（ハルシネーション）・バイアス悪用リスクへの対策、事前学習用データの作成・収集などにおいて、産学官での連携を深めて基盤モデル開発を継続し、2024年秋頃に、
PLaMo-13Bを大規模化した商用版モデルを展開予定です。

またアプリケーションに実装するためのAPI開発、基盤モデルの個別カスタマイズも実施予定です。PFEは、汎用ソリューションから特定タスクまで、幅広いケースで活用できる社会基盤としてのサービス展開を目指します。

AI規制等に対する取組

PFEの親会社であるPFNは、経済産業省主催の「AI事業者ガイドライン検討会」、内閣府主催の「AI時代の知的財産権検討会」等に参加して、生成AIをめぐる規制について意見表明すると共に、同活動を通じて最新の規制動向の把握に努め、それらをPFEにおける開発にも還元しています。
PFN及びPFEでは、現時点で把握できる規制内容やAI開発企業に課される遵守事項を遵守すると共に、今後精緻化されていくであろう具体的な規制等についても、開発・サービスの両面で迅速に対応していきます。