アップステージ、事前学習LLM Solarを公開...グローバルLLM大戦に本格参戦
2023/12/14アップステージLLM「Solar」公開、発表と同時に「ハググフェイスオープンLLMリーダーボード」で世界1位に登壇
世界初の10.7Bパラメータで構成された小型モデルで、グローバルトップ生成AIモデルに登用されました。
追加学習可能な事前学習モデルと実用性の高いファインチューニングモデルの両方を公開...SLMエコシステム拡張を牽引
アップステージ、AWS、Poeなどのグローバルプラットフォーム協力で最高の技術力を基にグローバル生成AI市場に本格進出
(アップステージ=2023/12/14)韓国を代表するAIスタートアップであるアップステージ(代表キム・ソンフン)が自社開発した事前学習LLM(Large Language Model)「Solar」(以下「Solar」)を公開し、グローバルLLM大戦に本格的に参戦する。
アップステージは14日、世界最大の機械学習プラットフォームであるハギングフェイスが運営する「オープンLLMリーダーボード」で世界1位を獲得した事前学習LLMソーラーを公開したと明らかにした。今回の結果は、小型LLM(SLM)の基準と言える300億パラメータ(30B)以下のサイズでグローバル最高性能モデルにランクインし、さらに意味が深い。
アップステージソーラーは'Specialized and Optimized Llm and Applications with Reliability'の略で、アップステージは昨年8月、オープンLLM史上初めてGPT-3.5のベンチマークスコアを超え注目された自社のハギングフェイス1位モデルを皮切りにソーラーモデルを開発した。
HUGGINGFACEオープンLLMリーダーボードは、オープンソース生成AIモデルのバロメーターと言われている。世界中の500以上のオープンモデルが推論と常識能力、言語理解総合能力と幻覚現象(ハルシネーション)防止、代名詞参照と数学解決能力など6つの指標の平均点数で競争し、権威あるランキングが付けられる。
アップステージの「ソーラー」は、企業が活用しやすいプライベートLLMのために小さなサイズで構成された事前学習モデルで、世界初の107億パラメータ(10.7B)モデルである。アップステージは、高度な知能とコンパクトさという完璧なバランスを見つけたモデルだと評価した。アップステージソーラーはリーダーボード評価で74.2点を記録し、全体1位を獲得する快挙を成し遂げた。これにより、アップステージのソーラーは、アリババの最新モデルであるQwen(Qwen)の6分の1以下のサイズで、それをはるかに上回る性能を証明した。
Upstageは様々な研究を通じて、小さなサイズのソーラーモデルの性能を最適化しました。アップステージは、性能は良いが大きい13Bモデルと十分に小さいが知的制約がある7Bモデルの間の長所を全て取る最適なモデルサイズを見つけるために、オープンソースの7Bモデルをベースに独自のDepth Up-Scaling方式を適用し、レイヤーを追加して深さを加え、小型モデルの性能を最大化した。その結果、アップステージは3兆個を超えるトークンの優れたデータを通じて拡張された10.7Bを完成、サイズと性能の最適な組み合わせでモデルを構築したと明らかにした。
また、アップステージのソーラーモデルは、事前学習およびファインチューニング段階では、リーダーボードベンチマークデータセットを使用せず、独自に構築したデータを適用した。これは、リーダーボードのスコアを上げるためにベンチマークセットを直接適用するモデルの事例とは異なり、ソーラーは様々なタスクの実際の業務活用など、一般的な場合、高い使用性を示すことができることを証明する。
特に、最近20億ドルの企業価値でユニコーンになったミストラルAIの最新モデルMixtral(Mixtral 8x7B)モデルの性能指標さえも超え、グローバル舞台の注目も集めた。Mixtralは小さな専門モデルを複数個束ねる方式で、小型モデルでありながらメタ「ラマ」とGPT-3.5を上回り、最近最も熱い注目を集めているモデルだ。Mixtralは70億パラメータの専門モデル8個を束ね、事前学習モデルの中で最高の性能を示したことがあるが、アップステージのSolaは高度なモデリングノウハウと最適化技術力でMixtralモデルより軽いサイズにもかかわらず、ベンチマーク評価でより良い性能を示した。
今回のソーラーモデルは事前学習モデルまで商業的活用まで可能に公開し、オープンLLM生態系の関心を集める。アップステージは、実用性の高いファインチューニングモデルはもちろん、独自の追加学習が可能な事前学習モデルまですべて公開した。 特に、モデルの性能を自ら高めるために使用できる事前学習モデルも、ファインチューニングモデルと一緒に公開されたアップステージのソーラーモデルは、ハググフェイスリーダーボード評価基準66.04点で、小型モデルの代表ランナーであるアリババのQwen(Qwen)、メタのラマ2(Llama 2)、ミストラルAIのミストラル事前学習モデルをすべて抜いて1位になった。
これにより、企業はアップステージのソーラーモデルに基づいて自分たちのデータと目的に合わせて追加学習し、様々な生成AIサービスを構築・運営できるようになり、より大きな関心を集める。
アップステージはAWS、Poe、Together.aiなどのグローバルプラットフォームとの協力を通じて、最高の技術力を基にグローバル生成AI市場に本格的に進出する計画だ。アップステージは最近「AWSリインベント2023」イベントに参加し、AWSのクラウドサービスとAIプラットフォームを活用して自社開発したLLMを構築・運営する過程と成果について説明し、AWSとの協力を明らかにした。
それだけでなく、アップステージはグローバル生成AI活用プラットフォームPoeにメインモデルとして登録されているソーラーモデルをアップデートし、一般の人々が最高性能のアップステージLLMを直接体験できるようにする予定だ。PoeはQuoraが運営するプラットフォームで、様々なAIモデルと対話し、希望のプロンプトを入力して自分だけのチャットボットを作ることができます。
アップステージは今回のモデル開発に先立ち、韓国初の数学GPTとEコマースプライベートLLMを構築するなど、様々な分野でモデル構築のノウハウを蓄積してきた。アップステージはクァンダ、KTと一緒に世界最高の数学GPTを構築、生成型AIが弱い推論領域までLLMの能力を拡大している。また、コネクトウェーブとEC業界初のプライベートLLMを構築し、多様な産業群のニーズを満たし、プライベートLLM市場の強者としての地位を確立している。
アップステージのキム・ソンフン代表は、「世界のAI企業を圧倒するモデルを公開することができ、アップステージソーラーが皆のためのモデルになることを期待している」とし、「KTの戦略投資を通じた支援が大きな助けとなり、今後、持続的により大きな差をつけることができる最高性能のソーラーモデルを活用し、B2B市場での協力も推進する」と明らかにした。
写真説明：韓国を代表するAIスタートアップであるアップステージ(代表：キム・ソンフン)が自社開発した事前学習LLM(Large Language Model)「Solar」を公開し、グローバルLLM大戦に本格的に参戦する。写真はハググフェイスオープンLLMリーダーボード順位でアップステージのモデルが1位を獲得した様子。
-
キム・グンギョク｜ブランドコミュニケーション総括理事｜ keunkyo@upstage.ai
バ・ソンボム｜ブランドコミュニケーション・マネージャー｜ sungbae@upstage.aiプレスリリースのダウンロード
-
アップステージは2020年10月に設立された韓国を代表するAIスタートアップだ。UpstageはHuggingfaceリーダーボードでオープンLLM史上初めてチャットGPTのベンチマークスコアを上回る性能で1位を獲得し、巨大言語モデル(LLM)業界で頭角を現している。このような技術力を基に、データセキュリティを最大化し、ハラスメントを解決した信頼できるプライベートLLMの標準を提示し、最先端の技術を企業が便利に使用できるように支援する。 また、アップステージのChat AI「AskUp」は140万人以上のユーザーを保有し、国内最大のAIサービスとして位置づけられている。もう一つのアップステージの代表ソリューションであるDocument AI Packは、世界最高権威のOCR大会を席巻したAI OCR技術を活用し、効率性と精度を高めて文書自動化を実現する。最小限のデータで事前学習されたモデルを通じて文書処理を最適化することで、手作業方式に比べてコストと時間を劇的に最小化する。最後に、教育プログラム「エデュステージ」を通じてAIビジネス経験を溶け込ませた実習中心の教育と確かなAI基礎教育を通じて、AIビジネスに即座に投入できる差別化された専門人材を育成する教育コンテンツ事業にも積極的に取り組んでいる。
アップステージはGoogle、Apple、Amazon、NVIDIA、Meta、Naverなどのグローバルビッグテック出身のメンバーを中心に、NeurPSをはじめ、ICLR、CVPR、ECCV、WWW、CHI、WSDM、DMLRなど世界的権威のあるAI学会に多数の優秀論文を発表し、オンラインAI競進大会Kaggle(Kaggle)で国内企業で唯一二桁の金メダルを獲得するなど、独歩的なAI技術リーダーシップを確立している。アップステージのキム・ソンフン代表は、香港科学技術大学教授として在職しながら、ソフトウェア工学と機械学習を融合したバグ予測、ソースコード自動生成などの研究で最高の論文賞であるACM Sigsoft Distinguished Paper Awardを4回受賞し、International Conference on Software Maintenanceで10年間最も影響力のある論文賞を受賞した世界的なAIの教祖と言われ、合計700万ビュー以上を記録した「みんなのためのディープラーニング」講師としても広く知られている。また、アップステージの共同創業者には、Naver Visual AI / OCRをリードし、世界的な成果を出したイ・ヒョルソクCTOと世界最高の翻訳機パパゴのモデルチームをリードしたパク・ウンジョンCSOが参加している。
