アップステージ-NIA、韓国AI競争力強化のための「Open Ko-LLMリーダーボード」開設
2023/9/25アップステージ、NIAと共同で韓国型Open LLMリーダーボードを構築...1TクラブなどAI生態系外延拡大
AI HUBデータを活用、韓国LLMの性能と革新性を証明する「Open-Ko LLMリーダーボード」を今月発足
"韓国型Open LLMリーダーボードで国内LLMの性能及び多様性を高め、人工知能生態系の拡大に努める"
(アップステージ=2023/9/25)アップステージと韓国知能情報社会振興院(以下、NIA)が協力し、韓国のAI競争力向上のために韓国語LLMの性能を評価し、比較できるリーダーボードを作る。
アップステージ(代表キム・ソンフン)は、NIAと共同主催で韓国語LLMリーダーボードである「Open Ko-LLMリーダーボード」を構築し、9月27日に開設すると明らかにした。これは先月4日、アップステージとNIAの協力後に実現された結果であり、アップステージは1Tクラブに続き、オープンLLMリーダーボードまで加え、韓国のAI生態系の外연을持続的に拡大する計画だ。
Open Ko-LLMリーダーボードは、誰でも自分が開発した韓国語LLMモデルを登録し、他のモデルと競争できる公開プラットフォームです。Open Ko-LLMリーダーボードに関心のある研究者は、27日以降、ハギングフェイスのOpen Ko-LLMリーダーボードスペースで詳細情報を確認し、参加することができる。
アップステージとNIAのOpen Ko-LLMリーダーボードは、ハギングフェイスが運営するオープンLLMリーダーボードの既存データを単に翻訳したのではなく、韓国の特性と文化を反映した高品質のデータを独自に構築し、韓国語特化型リーダーボードとしての強みを持つ。
また、常識を生成する能力を調べる「常識生成」基準を追加し、韓国語LLMモデルの高い性能と多様性を評価できるようにした。'常識生成'は、アップステージが高麗大学のイム・ヒシク教授の研究陣と協業で構築したデータセットで、歴史の歪み、幻覚エラー、形態素エラー、不規則活用エラー、嫌悪表現などに対する幅広いタイプを含む質問紙で構成した。これにより、AIが与えられた条件に対して作り出した結果物が韓国語ユーザーなら持つことができる一般的な常識に適合できるかどうかを測定する。
つまり、当該常識生成基準を通じて、韓国で最も代表的なハルシネーションの例として評価される「世宗大王のMacBook投げ事件」などの事例も大幅に防止することができ、韓国語と歴史に対してより適切なモデルを評価することができるという評価だ。
Open Ko-LLMリーダーボードは、韓国LLM研究の水準と競争力を高め、韓国語データの量と質を改善し、韓国LLMの国際的な認知度を高めることが期待されている。オープンLLMリーダーボードを基盤に様々な研究者の成果を共有し、共同研究及び協力を促進することができ、これを通じた性能レベルの向上と産業分野の拡大にも貢献することが期待される。
それだけでなく、韓国語データを基にしたリーダーボードが開設されることで、公開研究結果の透明性と信頼性を確保することはもちろん、国際的な認知度を高め、様々な言語研究の活性化の出発点としてグローバルレベルの注目度も高まるものと思われる。
今回のOpen Ko-LLMリーダーボード開設には、最近発表されたアップステージとKTの協業も一役買った。AIエコシステム拡大に両社が力を合わせ、KTクラウドのインフラ支援を通じてリーダーボードが安定的に運営される予定だ。
アップステージのLLMモデルSolarは、昨年8月にHuggingfaceが運営するオープンLLMリーダーボードでチャットGPTのベンチマークスコアを上回る結果、世界1位を獲得しました。最近では、オープンAIチャットGPT、グーグルファーム、メタラマ、エントロピッククロードなど4社のLLMだけが既存のリストに上がり、高性能モデルの基準となったPoeのメインモデルにもSolarが登録され、再びグローバル市場を驚かせた。
アップステージは韓国語リーダーボードを構築、アップステージは1Tクラブを基盤とした韓国語データを基に韓国文化情緒を盛り込むことができる高品質のLLMを開発することを超え、これを国内LLM独立のための生態系造成に貢献する計画だ。
アップステージのキム・ソンフン代表は「アップステージがNIAと一緒に韓国LLMの競争力を高め、研究レベルをさらに高めることができるOpen Ko-LLMリーダーボードを開設できることをとても嬉しく思う」とし、「今後も1Tクラブを含む高品質の韓国語データ共有はもちろん、リーダーボードを通じた協業促進と迅速な技術伝播などを通じて韓国のAIエコシステムを広げ、発展を促進できるようにさらに努力していく」と述べた。
写真説明：アップステージ(代表キム・ソンフン)は、NIAと共同主催で韓国語LLMリーダーボードである「Open Ko-LLMリーダーボード」を構築し、9月27日に開設すると明らかにした。これは去る4日、アップステージとNIAの協力後に実現された結果であり、アップステージは1Tクラブに今回のオープンLLMリーダーボードまで加え、韓国のAI生態系の外연을持続的に拡大する計画だ。写真はOpen Ko-LLMリーダーボードのロゴおよびホームページと常識生成データの例。