アップステージ-NIA、韓国AI競争力強化のための「Open Ko-LLMリーダーボード」開設
2023/9/25アップステージ、NIAと共同で韓国型Open LLMリーダーボードを構築...1TクラブなどAI生態系外延拡大
AI HUBデータを活用、韓国LLMの性能と革新性を証明する「Open-Ko LLMリーダーボード」を今月発足
"韓国型Open LLMリーダーボードで国内LLMの性能及び多様性を高め、人工知能生態系の拡大に努める"
(アップステージ=2023/9/25)アップステージと韓国知能情報社会振興院(以下、NIA)が協力し、韓国のAI競争力向上のために韓国語LLMの性能を評価し、比較できるリーダーボードを作る。
アップステージ(代表キム・ソンフン)は、NIAと共同主催で韓国語LLMリーダーボードである「Open Ko-LLMリーダーボード」を構築し、9月27日に開設すると明らかにした。これは先月4日、アップステージとNIAの協力後に実現された結果であり、アップステージは1Tクラブに続き、オープンLLMリーダーボードまで加え、韓国のAI生態系の外연을持続的に拡大する計画だ。
Open Ko-LLMリーダーボードは、誰でも自分が開発した韓国語LLMモデルを登録し、他のモデルと競争できる公開プラットフォームです。Open Ko-LLMリーダーボードに関心のある研究者は、27日以降、ハギングフェイスのOpen Ko-LLMリーダーボードスペースで詳細情報を確認し、参加することができる。
アップステージとNIAのOpen Ko-LLMリーダーボードは、ハギングフェイスが運営するオープンLLMリーダーボードの既存データを単に翻訳したのではなく、韓国の特性と文化を反映した高品質のデータを独自に構築し、韓国語特化型リーダーボードとしての強みを持つ。
また、常識を生成する能力を調べる「常識生成」基準を追加し、韓国語LLMモデルの高い性能と多様性を評価できるようにした。'常識生成'は、アップステージが高麗大学のイム・ヒシク教授の研究陣と協業で構築したデータセットで、歴史の歪み、幻覚エラー、形態素エラー、不規則活用エラー、嫌悪表現などに対する幅広いタイプを含む質問紙で構成した。これにより、AIが与えられた条件に対して作り出した結果物が韓国語ユーザーなら持つことができる一般的な常識に適合できるかどうかを測定する。
つまり、当該常識生成基準を通じて、韓国で最も代表的なハルシネーションの例として評価される「世宗大王のMacBook投げ事件」などの事例も大幅に防止することができ、韓国語と歴史に対してより適切なモデルを評価することができるという評価だ。
Open Ko-LLMリーダーボードは、韓国LLM研究の水準と競争力を高め、韓国語データの量と質を改善し、韓国LLMの国際的な認知度を高めることが期待されている。オープンLLMリーダーボードを基盤に様々な研究者の成果を共有し、共同研究及び協力を促進することができ、これを通じた性能レベルの向上と産業分野の拡大にも貢献することが期待される。
それだけでなく、韓国語データを基にしたリーダーボードが開設されることで、公開研究結果の透明性と信頼性を確保することはもちろん、国際的な認知度を高め、様々な言語研究の活性化の出発点としてグローバルレベルの注目度も高まるものと思われる。
今回のOpen Ko-LLMリーダーボード開設には、最近発表されたアップステージとKTの協業も一役買った。AIエコシステム拡大に両社が力を合わせ、KTクラウドのインフラ支援を通じてリーダーボードが安定的に運営される予定だ。
アップステージのLLMモデルSolarは、昨年8月にHuggingfaceが運営するオープンLLMリーダーボードでチャットGPTのベンチマークスコアを上回る結果、世界1位を獲得しました。最近では、オープンAIチャットGPT、グーグルファーム、メタラマ、エントロピッククロードなど4社のLLMだけが既存のリストに上がり、高性能モデルの基準となったPoeのメインモデルにもSolarが登録され、再びグローバル市場を驚かせた。
アップステージは韓国語リーダーボードを構築、アップステージは1Tクラブを基盤とした韓国語データを基に韓国文化情緒を盛り込むことができる高品質のLLMを開発することを超え、これを国内LLM独立のための生態系造成に貢献する計画だ。
アップステージのキム・ソンフン代表は「アップステージがNIAと一緒に韓国LLMの競争力を高め、研究レベルをさらに高めることができるOpen Ko-LLMリーダーボードを開設できることをとても嬉しく思う」とし、「今後も1Tクラブを含む高品質の韓国語データ共有はもちろん、リーダーボードを通じた協業促進と迅速な技術伝播などを通じて韓国のAIエコシステムを広げ、発展を促進できるようにさらに努力していく」と述べた。
写真説明：アップステージ(代表キム・ソンフン)は、NIAと共同主催で韓国語LLMリーダーボードである「Open Ko-LLMリーダーボード」を構築し、9月27日に開設すると明らかにした。これは去る4日、アップステージとNIAの協力後に実現された結果であり、アップステージは1Tクラブに今回のオープンLLMリーダーボードまで加え、韓国のAI生態系の外연을持続的に拡大する計画だ。写真はOpen Ko-LLMリーダーボードのロゴおよびホームページと常識生成データの例。
-
アップステージ｜キム・グンギョクPRディレクター｜ keunkyo@upstage.ai
アップステージ｜バ・ソンボムPRマネージャー｜ sungbae@upstage.aiプレスリリースのダウンロード
-
アップステージは2020年10月に設立された韓国を代表するAIスタートアップだ。UpstageはHuggingfaceリーダーボードでオープンLLM史上初めてチャットGPTのベンチマークスコアを上回る性能で1位を獲得し、巨大言語モデル(LLM)業界で頭角を現している。このような技術力を基に、データセキュリティを最大化し、ハラスメントを解決した信頼できるプライベートLLMの標準を提示し、最先端の技術を企業が便利に使用できるように支援する。 また、アップステージのChat AI「AskUp」は140万人以上のユーザーを保有し、国内最大のAIサービスとして位置づけられている。もう一つのアップステージの代表ソリューションであるDocument AI Packは、世界最高権威のOCR大会を席巻したAI OCR技術を活用し、効率性と精度を高めて文書自動化を実現する。最小限のデータで事前学習されたモデルを通じて文書処理を最適化することで、手作業方式に比べてコストと時間を劇的に最小化する。最後に、教育プログラム「エデュステージ」を通じてAIビジネス経験を溶け込ませた実習中心の教育と確かなAI基礎教育を通じて、AIビジネスに即座に投入できる差別化された専門人材を育成する教育コンテンツ事業にも積極的に取り組んでいる。
アップステージはGoogle、Apple、Amazon、NVIDIA、Meta、Naverなどのグローバルビッグテック出身のメンバーを中心に、NeurPSをはじめ、ICLR、CVPR、ECCV、WWW、CHI、WSDM、DMLRなど世界的権威のあるAI学会に多数の優秀論文を発表し、オンラインAI競進大会Kaggle(Kaggle)で国内企業で唯一二桁の金メダルを獲得するなど、独歩的なAI技術リーダーシップを確立している。アップステージのキム・ソンフン代表は、香港科学技術大学教授として在職しながら、ソフトウェア工学と機械学習を融合したバグ予測、ソースコード自動生成などの研究で最高の論文賞であるACM Sigsoft Distinguished Paper Awardを4回受賞し、International Conference on Software Maintenanceで10年間最も影響力のある論文賞を受賞した世界的なAIの教祖と言われ、合計700万ビュー以上を記録した「みんなのためのディープラーニング」講師としても広く知られている。また、アップステージの共同創業者には、Naver Visual AI / OCRをリードし、世界的な成果を出したイ・ヒョルソクCTOと世界最高の翻訳機パパゴのモデルチームをリードしたパク・ウンジョンCSOが参加している。
