LLMの世界に飛び込んだCTOの2023年回顧録
2023/12/22 | 5分
LLM 2023年の月別ホットニュース総まとめレポートを 受け取りましょう
これだけは知っておきたいLLMのニュースと2024年の将来動向を一挙にまとめました。
(2024年1月15日発送予定)
今年は私にとってCOVID-19と同じくらい衝撃と混乱があった年でした。ChatGPTに代表される超巨大言語モデル(Large Language Model, LLM)が今年全世界を襲ったからです。 ChatGPTが与える経験はAI業界従事者だけでなく、一般大衆にまで広がり、LLMに対する期待と懸念を同時に呼び起こしました。 多くの企業がLLMを導入するために膨大な予算を編成しており、OpenAI、Google、Metaなどのビッグテック企業はもちろん、Anthropic、Cohereなどのスタートアップも週に一度は新しいLLMを発売することに熱を上げています。このような巨大な変化の波により、私の2023年もLLMで満たされることになりました。
危機かチャンスか
市場が混乱しているということは、ある会社にとっては危機になることもあれば、ある会社にとってはチャンスになることもあります。LLMのように新たな市場を開くゲームチェンジャーが登場した場合にはなおさらです。市場が安定的に定着していないため、多くの企業が様々な形の戦略を持って市場に参入し、そのうちごく一部の製品だけが生き残るというサイクルを繰り返すことになります。過渡期を経て生き残った製品を中心に製品区分が分かれるようになり、そうして市場は安定化していきます。
浄化された市場で新しくスタートした小さな企業が大企業に勝つことは理論上不可能に近いです。 そのため、スタートアップ企業が既存の大企業に勝つ事件は、通常、新しい産業が胎動する時期に多く発生します。世界を変えたビッグテック企業の登場時期を振り返ってもそうです。1975年に個人用PC市場が初めて開かれ、Microsoftが登場し、1998年にインターネットが急速に普及し、新しい産業が登場した時にラリー・ペイジがGoogleを創業しました。ドットコムバブル以降、2004年にインターネット市場が回復した年にFacebookが登場し、それから4年後にiPhone3が世に公開され、スマートフォンと共にソーシャルメディア産業が爆発的に成長しました。
アップステージのようなスタートアップにとって、今のような市場は非常に良い機会だと思いました。 従来、私たちが注力していた事業がありましたが、LLMによって全く新しい市場が開かれ、私たちはこの機会をつかまなければならないと思いました。一方で、このような機会は長く続かないという考えもあったようです。 そこで、LLM TFを構成し、AI分野の「ビルボードチャート」のような世界最大のオープンソースAIモデルプラットフォームであるHugging FaceのOpen LLM Leaderboardで順位を上げようというチャレンジを6月から行いました。
ハググフェイス「Open LLMリーダーボード」1位達成
優秀なエンジニアでTFを構成してから2ヶ月でアップステージの30Bモデル(MetaのLLaMa2 70Bパラメータに基づいてファインチューニングしたモデル)がLLaMa2 70Bモデルを追い越し、国内LLM初の1位達成という快挙を成し遂げました。モデル推論、常識能力、言語理解総合能力、幻覚現象防止分野 すべてで得点を上げました。優秀なキャグラーの方々、国際学会で論文を発表した経験のある方々が社内のリーダーボードを作り、チームメンバー間で善意の競争をし、最新の研究動向を素早く共有し、常に議論し、様々な試みを短時間で多様化したからこそできたことだと思います。
多くの方がアップステージはDocument AI(OCR)、レコメンドなどの分野を開発していたのに、突然LLMをどうすればうまくできるのかというご質問をいただきました。 かつてルールベースでアルゴリズムを開発していた時代には、各分野ごとに特定のルールをプログラミングし、これを基に人工知能システムを開発しました。ディープラーニングが登場し、End-to-End方式が導入され、学習データさえうまく準備すれば、同じモデルアーキテクチャで画像も処理でき、自然言語も処理できるパラダイムに入りました。 代表的なモデルがTransformerです。自然言語処理も、コンピュータビジョン分野も全てトランスフォーマーベースで実装され、様々なタスクを処理しています。超巨大言語モデルが登場すると、各モーダルが一つのアーキテクチャで処理しようとする動きも出てきています。実はそれ以前にもマルチモーダル分野が多かったのですが、超巨大言語モデルが登場し、その動きはさらに加速しています。このような観点から、AIエンジニアも各分野に固執するのではなく、様々なモダルを横断する能力が必須に求められます。 そして、それを可能にするのは、しっかりとした機械学習の基礎知識が必要です。 アップステージでは、しっかりとした基礎知識に加えて、それをうまく応用できる人が多いからこそ可能でした。
実際のビジネス担当者と会ったLLM
LLMについての技術的な疑問も多く、どうにかして早く導入しなければとお考えの方からたくさんのご連絡をいただき、ありがたいことに忙しい毎日です。LLMという技術について、学界では熱心に発展させていますが、実際のビジネスでは心配の声も少なくありません。 多くの方が心配しているLLMの2つについて、どのように克服しようとしているのか、簡単な概念説明とともにご紹介します。 1つ目は幻覚、2つ目はセキュリティの問題なく制御可能な当社独自のモデルについてです。
まず、幻覚緩和のための代表的な試みとして、検索増強生成(Retrieval Augment Generation, RAG)という技法があります。RAGは、ユーザーが要求した業務を遂行する際に基本となる情報を検索技術で確保した後、検索結果に基づいて回答を生成する方法です。LLMと検索技術が連動する方式はVector DBを根幹としていますが、特定の分量のテキスト情報を一つのベクトルにしてくれるエンベッディングモデル(Embedding Model)を活用して全ての情報を知識化します。この時、テキスト情報が構造化されているほどRAG性能が良いのですが、そのためにオフラインの文書をテキストに変えてくれるOCR技術だけでなく、テキスト情報を構造化された情報に変えてくれるParsing技術に対する需要が増えています。アップステージもこの部分について絶えず研究開発し、性能を上げ続けています。
第二に、ビジネス適用のためのsmall scale LLMを作っています。Private (Custom) LLMとは、自分だけのデータで学習させたLLMを意味します。現在、Private LLMは技術のアクセス性や学習、推論コストを考慮すると、最大100B以下のパラメータ数を持つモデルで実装されています。Private LLMは制御可能性、データセキュリティ、コスト最適化などの強みを持ちます。果たして知識のドメインや使用方法を限定した時、ChatGPTと類似あるいはそれ以上の性能が出るかどうかがPrivate LLM中心の事業において最も早く検証されなければならない点です。 Private LLM事業自体が始まったばかりなので、ビジネスの実適用事例はまだ多くなく、これは韓国だけの事情ではなく、グローバル的に同じ状況です。 そのため、来年に顧客が満足できる事例がPrivate LLMで出てくるかどうかがPrivate LLM市場の今後の行方を決めるでしょう。
今年、個人的に会社の最大の資産だと思う点は、DocAIプロジェクトを通じて、B2B Enterprise AI製品の全体的な大きなサイクルである製品開発、製品納品、製品メンテナンスの段階をすべて成功裏に経験したことです。AIモデルでReal-worldの問題を解決することには、目に見えない多くの障壁が存在します。このような過程をEnd-to-endで経験した会社は、世界中のAI会社を通しても一部だと思います。 世界最高レベルのモデルを開発できる能力と、このようなモデルを利用して実際の顧客の問題を解決できる経験は、アップステージが今後LLM関連のB2Bサービスを立ち上げる上で大きな強みになると思います。
2024年が期待される理由 - LLMとDocument AIの出会い、世界の中のアップステージ
LLM技術を通じて新しい機会を模索する過程で、Document AI事業も今年を通して着実に進めています。事業計画をLLMに変えるかどうかという質問もよく受けましたが、幸運なことに、既存の私たちがうまくやっていたDocument AIとLLM技術が一緒にシナジーを出すのにとても良いという事実も分かりました。 実際のビジネスで活用できるLLMを作る時、その会社だけのデータをどのようにうまく加工するかがLLMの性能を左右すると言っても過言ではありません。上記でRAGに関する話をするときに簡単に言及したように、業務関連文書をよく構造化されたテキスト情報で知識化することが重要ですが、文書構造を自動的に認識してくれるOCR技術(Layout Analysis)も一緒に保有していることが大きなシナジーを生み出しています。Document AI技術で情報を認識/保存し、LLMでその情報を再び取り出して分析に活用すること、このプロセスが業務の生産性を高め、ビジネス価値を高めるために大きな基盤になると思います。
最近、SOLAR 10.7BモデルでHuggingface Open LLM Leaderboard 1位を再び達成し、Global市場でもアップステージの認知度を高めています。アップステージの技術力に対するグローバルでの反応を確認するため、今年一年多くの学会、イベントに参加し、様々な方にお会いしました。世界的に見ても独自のLLMモデルを学習する企業が多くない状況で、SOLARが良い成績を収めたことが外部からアップステージを認知することにも大きな影響を与えたことを感じることができました。
未来を予測する最良の方法は、未来を創造すること!
Alan Kayが言った有名な言葉で、今年の私のモットーのような言葉です。混乱しているように見える未来の中で、適度に揺れながら、良い仲間と未来をつくっています。今となっては自慢しているような部分もありますが、当時は正直辛くて不安だったこともたくさんありました。 選択した選択肢が全て正解ではなかったとしても、混乱した未来について不安になるより、どのように未来をつくっていくのかという信念を持とうと努力しました。 そしてその信念には、一緒に働く人たちへの信念が一番大きな役割を果たしたと思います。2023年に経験した混乱とぶつかり合い、それによって得たレッスンランとインサイトを持って、頼もしい仲間と一緒にする未来が楽しみです。 来年はこれらのインサイトをもっと多く、頻繁に共有することも2024年の目標の一つですので、よろしくお願いします。
☀️ ソーラーLLM
[NEW】アップステージのソーラー10.7Bについて
Open LLMリーダーボードで競合モデルを上回るパフォーマンスを発揮した10.7Bモデルをご紹介します。
