アップステージ-クァンダ-KT、チャットGPTを超える数学特化型言語モデル開発
2024/1/8アップステージ-クァンダ、KTの戦略的パートナーシップの一環としてオープンAI、MSを超える数学GPTを開発
GPT-4、MS ToRA 13Bを上回る性能...13Bサイズ以下のモデルで1位を達成する快挙を達成しました。
アップステージ-クァンダ-KT 3社の有機的な協力で難関とされるLLM数学領域を制覇
(アップステージ=2024/1/8)アップステージ(代表キム・ソンフン)は、AI基盤学習プラットフォーム「クァンダ」の運営会社マスプレッソ(代表イ・ヨンジェ)、KTと共同開発した数学ドメインに特化した「MathGPT(仮称)」がオープンAIのチャットGPTとマイクロソフト(MS)モデルを抜いて世界新記録を達成したと8日明らかにした。
昨年11月、アップステージとクァンダはKTとの戦略的パートナーシップの一環としてMathGPTの開発に着手した。 アップステージはクァンダの高品質な数学専門データを学習し、自然言語ベースの言語モデルが論理的推論とプログラム化を通じて複雑な数学問題を解決できるようにファインチューニングを行った。
両社は13BパラメータのMathGPTを開発し、「MATH」、「GSM8K」などの言語モデルの数学能力を評価する代表的なベンチマークテストで、同クラス最強のMS「ToRA 13B」を上回るという有望な成績を収めた。これは13B以下のモデル1位に相当する新記録である。
12,500個の高難易度数学軽視問題で構成されるMATHベンチマークと、8,500個の小学校の数学問題で算術演算をテストするGSM8Kベンチマークなど、2つのスケールで同時に最高性能を達成したのは、近年世界でも類を見ない成果です。
特に、MathGPTはベンチマークテストの平均でチャットGPTの性能を突破し、MATHベンチマークではGPT-4まで上回るという快挙を成し遂げた。高難易度の数学ドメインで、国内で開発した小型サイズのモデルがオープンAI、MSなどのビッグテック企業を抑えて意味のある旗を立てたのだ。
このような成果にはアップステージ、クァンダ、KTの3社の有機的な協力が主効果だった。戦略的パートナーシップを通じたKTの全面的なインフラ支援に支えられ、クァンダの独創的な数学特化ノウハウと高品質の学習データ、そして独自の言語モデル「SOLAR」でグローバルビッグテックを抑えて世界1位のLLMを作ったアップステージのモデリング技術が合わさり、最高の成果を生み出した。
MathGPTを通じて教育分野でも目に見える成果を確認したアップステージは、今後ソーラーを前面に押し出し、LLM市場の再編に乗り出す。金融、流通、医療、エンターテイメントなど様々な産業群を網羅し、国内を越えて本格的な海外進出のための足場としてグローバル体質強化にも注力する方針だ。
アップステージのキム・ソンフン代表は、「クァンダ、KTとの協力を通じてチャットGPTを超え、世界最高水準の数学特化型言語モデルを開発することができ、意義深い」とし、「今後、アップステージはグローバル1位のLLM技術力を基に、様々な領域で生成型AIの革新をリードしていく」と述べた。
クァンダのイ・ヨンジェ代表は「クァンダ、アップステージ、KTの3社の技術力とノウハウが合わさり、グローバルビッグテックを超えた有意義な結果を生み出した」とし、「クァンダのAIチューターを通じ、アジアを越えて全世界の学生の教育経験を革新する」と述べた。
写真説明：アップステージがクァンダ、KTと共同開発した数学ドメインに特化した「MathGPT(仮称)」がオープンAIのチャットGPTとマイクロソフト(MS)モデルを抜いて世界新記録を達成した。
-
キム・グンギョク｜ブランドコミュニケーション総括理事｜ keunkyo@upstage.ai
バ・ソンボム｜ブランドコミュニケーション・マネージャー｜ sungbae@upstage.aiプレスリリースのダウンロード
-
アップステージは2020年10月に設立された韓国を代表するAIスタートアップだ。UpstageはHuggingfaceリーダーボードでオープンLLM史上初めてチャットGPTのベンチマークスコアを上回る性能で1位を獲得し、巨大言語モデル(LLM)業界で頭角を現している。このような技術力を基に、データセキュリティを最大化し、ハラスメントを解決した信頼できるプライベートLLMの標準を提示し、最先端の技術を企業が便利に使用できるように支援する。 また、アップステージのChat AI「AskUp」は140万人以上のユーザーを保有し、国内最大のAIサービスとして位置づけられている。もう一つのアップステージの代表ソリューションであるDocument AI Packは、世界最高権威のOCR大会を席巻したAI OCR技術を活用し、効率性と精度を高めて文書自動化を実現する。最小限のデータで事前学習されたモデルを通じて文書処理を最適化することで、手作業方式に比べてコストと時間を劇的に最小化する。最後に、教育プログラム「エデュステージ」を通じてAIビジネス経験を溶け込ませた実習中心の教育と確かなAI基礎教育を通じて、AIビジネスに即座に投入できる差別化された専門人材を育成する教育コンテンツ事業にも積極的に取り組んでいる。
アップステージはGoogle、Apple、Amazon、NVIDIA、Meta、Naverなどのグローバルビッグテック出身のメンバーを中心に、NeurPSをはじめ、ICLR、CVPR、ECCV、WWW、CHI、WSDM、DMLRなど世界的権威のあるAI学会に多数の優秀論文を発表し、オンラインAI競進大会Kaggle(Kaggle)で国内企業で唯一二桁の金メダルを獲得するなど、独歩的なAI技術リーダーシップを確立している。アップステージのキム・ソンフン代表は、香港科学技術大学教授として在職しながら、ソフトウェア工学と機械学習を融合したバグ予測、ソースコード自動生成などの研究で最高の論文賞であるACM Sigsoft Distinguished Paper Awardを4回受賞し、International Conference on Software Maintenanceで10年間最も影響力のある論文賞を受賞した世界的なAIの教祖と言われ、合計700万ビュー以上を記録した「みんなのためのディープラーニング」講師としても広く知られている。また、アップステージの共同創業者には、Naver Visual AI / OCRをリードし、世界的な成果を出したイ・ヒョルソクCTOと世界最高の翻訳機パパゴのモデルチームをリードしたパク・ウンジョンCSOが参加している。
