注目のAIパック開発で顧客のサクセスストーリーを作成 - [Starview Vol. 3] RecSys & AI Challenges Team
2022年12月22日｜3分
-
ソン・ジウン (人と文化)
ヘイリー (コンテンツコミュニケーション)
-
B2BやAI企業のAIリサーチエンジニアやソフトウェアエンジニアの仕事に興味がある方
レコメンデーションシステムに興味がある(RecSys)
アップステージのメンバーの話に興味がある方
-
スターの正直なアップステージストーリーを伝えるスタービュー!3人目の主人公は、UpstageのRecSysチームとAIチャレンジチームで、垂直商取引会社「ブランデー」とのPoCを通じて驚くべきパフォーマンスでAIレコメンデーションシステム契約を獲得しました。企業顧客の成功を確実にするためにワンチームとして働くステージ上のスターの物語をご覧ください。
-
✔️ 自己紹介
✔️ 焦点を当てる作業
✔️ ブランデーでおすすめAIパック導入プロジェクト
✔️ 共同回顧展
✔️ コラボレーションによる教訓学習
✔️ アップステージウェイ
✔️ 今後の予定
“RecSysチームは問題の設計方法や実際のお客様に提供するビジネス面を考え、AI Challengeチームはパフォーマンスについて深く考え、お互いに相乗効果が大きかったと思います。”
レコメンドシステムが安定しているため、強力なモデルをはるかに短期間で提供できます。”
Upstageの推奨AIパックを採用した後、顧客コンバージョンの平均+ 60%の増加と最大+ 150%を達成した人がいます。UpstageのRecSysチームとAIチャレンジチームは、垂直商取引会社「ブランデー」とのPoCを通じて驚くべきパフォーマンスでAIレコメンデーションシステム契約を獲得しました!
おすすめのAIパックの開発とブランデープロジェクト、アップステージの文化や働き方をStarviewでご紹介しました。
AI Packの開発でブランディの
顧客成功事例を作った
RecSys & AI Challengesチームの
並外れたシナジー効果
自己紹介をお願いします。
原性
こんにちは。私は RecSys(レコメンダーシステム)のAIリサーチエンジニアとして働いているデュアルリティです。彼は、AIと機械学習の手法を使用して、レコメンデーションシステム全体のさまざまな問題を解決する責任があります。
ジュンヒョン
こんにちは。パク・ジュンヒョンは 、RecSysチームでAIリサーチエンジニアとして働いています。お客様の課題をデータで解決します。
ヒョンウ
AI チャレンジチームのキム・ヒョンウです。私は主にカグル大会に参加し、新しいスキルを習得したり、より良いパフォーマンスをしたりしようとしていますが、その過程で カグルマスターを獲得することができました。それ以外は、他の社内プロジェクトやPoCのモデリングを担当しています。
ナムジュン
こんにちは。私は RecSysチームのソフトウェアエンジニアであるナムジュンチョです。レコメンダーシステムのバックエンドとデータパイプラインを開発しています。
初めまして。
最近はどんな仕事に集中していますか？
原性
最近では、 ブランデーAIレコメンドシステムをさらに開発しています。レコメンドアイテムプールの変化をリアルタイムに反映し、レコメンド結果を変更するシステムを開発しています。
ジュンヒョン
私は、複数のサービス間でレコメンダーシステムを 普遍的に拡張できるモデルの作成に焦点を当てています。
ヒョンウ
今年は、 Kaggle H&M Challengeと ACM RecSys Challenge 2022 に参加し、レコメンデーションシステムの技術を向上させました。私たちは、これらの経験を私たちが作成する製品やコンテストに組み込むことに焦点を当てています。
ナムジュン
私は バックエンドシステムの一般化と自動化をたくさん行っています。開発作業と作業規模が大きくなるにつれて、私たちは多くの監視も行います。
ジュンヒョン、ウォンソン、ヒョンウ、ナムジュン
(左上から時計回りに、アップステージはフルリモート勤務をしているので、ビデオ会議時にそれぞれの個性に合った壁紙を適用した)
Brandy Upstageのおすすめ
AI Packを導入するプロジェクト全般
の話も聞きたいです。
原性
ファッションショッピングアプリのBrandyは、韓国に600万人以上の会員がおり(2022年9月現在)、女性のファッションショッピングアプリのトップ3になりつつあります。したがって、さまざまなデータ に基づいて超パーソナライズされた製品推奨ソリューションなどの推奨パックを開発するための主要な顧客です。そのため、さまざまな要件の事前調整と準備に多くの時間を費やしました。現在、ブランデーから始めて、他のお客様に紹介できる標準化されたプロセスを作成しています。私たちは時間を短縮し、標準化されたサービングを提供するために一生懸命取り組んでいます。この文脈では、標準化されたサービングは、ブランデーの要件を満たし、ブランデーに使用されるだけでなく、さまざまな顧客にレコメンデーシステムを提供する「フレームワーク」を作成すると考えることができます。
ブランディとのプロジェクトは
いつから始めたのですか？
ジュンヒョン
(正確な出発点ではなく)プロジェクト自体の最初に戻ると、チャレンジチームとレコメンデーションチームは 5月にH&Mデータを使用したKaggleコンペティションで競いました。 両チームとも銀メダルを獲得するのに十分なパフォーマンスを見せ ました。 そのコンペティションで検証された推奨モデルをもとに、ブランデーデータのフィッティングに取り組みました。したがって、プロジェクトのルーツに戻ると、 Kaggleコンペティション からのものであると言えます。
世界中から最高のモデルを持ち込み、ブランデーの販売指標に合ったレコメンドを行い、8月からABテストを開始しました。短期間のうちに、テストを通じて成果を証明しました。 売上やクリック数などのさまざまな指標で、他の既存のレコメンデーションシステムよりも優れていることが証明され、自然に契約につながりました。
アップステージのおすすめAI Packは
具体的にブランディのどのようなところに適用され、
また、どのような効果がありましたか？
また、このプロジェクトを進める上で最も重要視した
目標も知りたいです。
ファッションショッピングアプリ「ブランデー」に適用されたアップステージのおすすめAIパック
原性
現在、ブラン デーアプリのホームページにパーソナライズされたAIレコメンデーションの形で 適用されています。 Upstageの推奨AIパックを適用した後、総インプレッションあたりのコンバージョン値は、ビジネス開始前と比較して60%近く増加しました。 これは、Brandyのデータ最適化ラボが今年初めに立ち上げたときに設定した+ 32%の目標のほぼ2倍です。 アップステージのAIモデルだけを見ると、前のモデルと比較して平均+ 150%増加しています。
多くの場合、レコメンデーションシステムの導入を検討している顧客は、「最初に何をすべきか」または「何を最適化すべきか」を知りません。私はしばしば私のサービスの重要な指標が何であるかを知りません。Brandyには、「インプレッションあたりのコンバージョン量 に対するマルチタッチアトリビューションを最大化する」、つまりインプレッションあたりのコンバージョン量を最大化するという明確な指標がありました。従来はクリック率「CTR」を最適化することが多かったのですが、Brandyは既存の問題とは異なり、実際の業務との関連性が高い「収益貢献度」という指標を直接最適化し、色々な意味でシナジーを生み出すことができたと思います。
お客様と共同の目標のもと、
One Teamのように協業されたと聞きました。
とても重要でありながら、大変だったと思います。
自由に回顧の感想を聞かせてください。
ナムジュン
いろんな問い合わせでクライアントと 調整するプロセスにとても注意を払ったと思います。お客様の社内事情により、お問い合わせ・共有を優先させていただく場合がございます。緊急の問題のランキングは、顧客の状況に応じて調整する必要があります。そこで、お客様とのコミュニケーションを円滑にするために、追いつき、問い合わせ、フォローアップのプロセスを素早く行うように心がけました。
ヒョンウ
コラボレーションの過程で問題が発生する場合があります。継続的なコミュニケーションを通じて、課題を共有し、お互いの現状を把握することが大切だと思います。最初はブランディさんとコミュニケーションをとるのが大変でしたが、諦めずに様々なプロセスや努力を重ねました。共有、議論、意思決定のプロセスを通じて、 より強い信頼関係を構築し、より良い結果をもたらしました。
ジュンヒョン
私たちはお客様をよりよく理解しています。実際のデータの構築と使用 データは小売にリンクされ、データの表示と保存を改善するために書式設定されます。推奨事項で使用されている形式と正確に一致しない場合があります。互いに最適化されたフォーマットをマッチングするプロセスがあり、必要な要件も尋ねました。ですから、より多くのことを達成できる優れたコラボレーションがあると思います。
原性
はい、私も同意します。ちなみに、レコメンデーションの問題のほとんどはクリック最適化の問題を解決しましたが、ブランデーは販売に関連していました。比較すると、「クリック数」よりも「売上」に関する研究が少ない。 ですから、PoCの初期の頃は、ブランデーの問題を研究し、研究し、設計していたと思います。 たとえば、「法人売上」は、実際に売上が発生したときにのみ測定できます。しかし、オフラインのデータで測定するのは容易ではないため、実際のオンライン結果から良い企業売上高につながるような実験を設計することは困難であり、どの実験をオフラインで設計する必要がありますが、有意義な結果を出すことができたと自負しています。
ブランディとのコラボレーション後
市場の反応も実感できるでしょうか？
ジュンヒョン
Eコマース、特にファッション分野では、お客様から多くの問い合わせが寄せられています。実際のサービスの進捗状況についても多くの議論があります。
また、良いニュースを期待しています。今後
顧客社が増えても、標準化されたサービングを
を通じて複数の顧客にソリューションを提供することが
より簡単になるのではないでしょうか。
ジュンヒョン
はい！私たちは良いモデルを持っていたので、クライアントに 適切なオプションを設定できるシステムを作成しました。他のお客様が望むパフォーマンス指標に合わせてモデルを調整できます。
ブランディのコラボレーションをきっかけに、推薦チーム内
または推薦チームとチャレンジチームが一緒に
成長したり、レッスンしたポイント
があれば教えていただきたいです。
ヒョンウ
RecSysチームとのコラボレーションは、最初のブランデープロジェクトではありませんでした。 H&M Kaggleの経験 では、最新のテクノロジー、レコメンデーションの問題を解決する方法、アプローチ/分析がパフォーマンスを向上させる方法を学びました。
レコメンデーションシステムの分野で最も権威のあるカンファレンスであるACM RecSysが主催する「RecSys 2022 AIレコメンデーションコンテスト」や、 Glorangのオンラインキッズスクール「Kug」が推奨するAIソリューション など、継続的なコラボレーションプロセスを通じて最新のテクノロジーとその使用方法を共有することで多くのことを学びました。また、チーム内で共有/議論し、継続する方法を体験する絶好の機会でもあり、思い出深いものでした。
AIチャレンジチームの集合写真
ジュンヒョン
Kaggleで良いパフォーマンス/スコアを獲得しているAIチャレンジチームとのコラボレーションのおかげで、この分野で多くの専門知識と経験を積むことができました。 お客様との協業により、長い間解決していなかった問題や要件を解決することができ、その過程で多くのことを学ぶことができました。どんなにナイフが上手くても、使い方がわからなければできません。それを学んだことは、私たちがさらに成長する機会になったと思います。これらの学習に基づいて、モデルをさらに改善し、ブランデーのパフォーマンスを徐々に改善できたことも良かったです。
原性
AIチャレンジチームはパフォーマンスを向上させるエキスパートの集まりなので、その経験からコラボレーションを通じて多くのことを学んだと思います。どう問題設計して実際のお客様にどう提供していくかを考え、AI Challengeチームはパフォーマンス面も深く考えていたので、お互いに相乗効果が大きかったと思います。
AIチャレンジチームだけでなく、AIビズチームやマーケティングチームなど様々なチームとのコラボレーションが良かったと思います。Bizチームはブランデー契約をうまくこなし、コミュニケーション&マーケティングチームはうまく宣伝してくれて、その点でOne Teamとして頑張ってくれた様々なチームに感謝することができ、良いコラボレーションを体感できたと思います。
ナムジュン
バックエンドや研究者とのコラボレーションが最も印象的です。製品を作成する(AI製品を作成する)ときは、モデルをバックエンドに関連付ける必要があります。バックエンドと共有してモデリングする構造ではなく、チームとして有機的に交流し続けるというコラボレーション手法が合っていると感じました。そして、モデルに必要なデータは常にあります。データの出し方については、引き続き議論していく必要がありますし、今の組織体制がいろんな意味で役立っていると思います。
今後、おすすめのAIシステム分野
に挑戦したい目標や方向性はありますか？
原性
現在、Upstageのレコメンデーションパックは、「レコメンダーシステム」と呼ばれるかなり狭いアプリケーション分野に焦点を当てていますが、より広い視点から企業全体に対してより広く考えることができます。お客様のデータを取得し、売上や滞留時間などのKPIを最適化することで、お客様の 収益性を最適化するのに役立つツールへの拡張を検討しています。
レコメンデーションシステムを開発するアップステージRecSysチームのワークショップ写真
難しい製品を一緒に作る旅、
One team & One step moreで
より強固に!
普段の仕事で大切にしている
「アップステージウェイ(Upstage way)」を
お伺いしたいです。
原性
ワンチームは重要であり、私が好きな価値だと思います。Upstageは横型の社風なので、後輩はチームとしてオーナーシップを持って仕事ができ、リーダーと横にコミュニケーションを取り、その間に創造性を最大限に発揮する効果があると思います。リーダーには自分の悩みがあり、後輩には自分の悩みがあり、その中間に自分の悩みがあるのかもしれませんし、相補的な相乗効果があると思います。横の組織文化の中で働いているので、後輩やリーダーから多くのことを学び、それがUpstageをより特別なものにしていると思います。
ナムジュン
私もワンチームが一番好きです。同じチームにバックエンドと研究者がいます。AI製品を一緒に作り上げていく中で、この2つの仕事は切っても切れない関係にあると思います。データに縛られているため、多くのコラボレーションを行っています。同じプロジェクトに取り組んでいるのですが、「自分はバックエンドで研究者だから別々にやろう」というのが合わず、チームで協力してこそ良い製品が作れると思います。
もう一つは、私たちが作ろうとしているプロダクトは、実は簡単なプロダクトではないと思うんです。 なぜなら、世の中にないものを作ることが目標だからです。 だから、時には目標が揺らぐこともあると思うんです。自分がうまくやっているのか疑問に思うこともありますが、その時に一番役に立つのは、私たちのチームがワンチームで、その中で信頼し合うことがすごく大事だと思います。私もそこで力をたくさんもらい、「私たちは本当にこの目標を達成できるんだ」という信念をたくさん得るんです。 だから、ワンチームがすごく大事だと思います。
ジュンヒョン
「 もう一歩」は重要な価値だと思います。どうすれば簡単になるか、どう良くなるか、どうしたら優れたものにするかを考える「もう一回」は、私たちにとっても、サービスを受けるお客様にとっても、とても魅力的なポイントだと思います。 私たちは常に一歩前進しようとしていると言えます。
では、「アップステージウェイ」の実践で
悩んだり、難しい項目はありますか？
原性
私にとっては、「あと一歩」が実は一番難しいです。時間があるときは、実際にそれを行うためのより良い方法を見つけるのに時間がかかるからです。一定の時間内に「一歩以上」をどれだけ効率的に見つけるかは常に難しいと思います。ですから、「もう一歩」は大きな挑戦であり、私たちはまだ答えを見つける過程にあると思います。
ナムジュン
タスクの後に共有するために整理することが重要です。期限が決まっているタスクが多数あり、スケジュール通りに作業して新しいタスクが作成されると、それらを十分に整理できなくなります。チームにはクリーンアップの王様がいるので、それを補完することが多いですが、共有という点では補完する必要があると思います。
ヒョンウ
私は「共有」が最も重要だと思うのですが、難しいと思います。 なぜなら、私たちのチームはそれぞれが少し違うテストの仕事をする傾向があるからです。 私は推薦システムコンテスト業務を担当していますが、Document AIチームと協業している方もいます。 異なる仕事をした経験を共有したり、会議をしなければならない状況で、私が何をやっているのか、どんな悩みを抱えているのか、どんなテストを今解決しているのかなどを毎週の会議で伝えて共有しなければならないのですが、なかなか難しいです。
アップステージウェイをうまく実践するために
努力している「自分だけのノウハウ」があるでしょうか。
ヒョンウ
AI Challengesチーム内部で共有について多くの悩みを抱えていますが、他のチームのベンチマークを通じて「ドキュメント作業をしてみよう」というのが一つの案でした。 実際にRecSysチームのノートページをベンチマークしていますが、ジュンヒョンさんをはじめ、整理整頓が上手でした。他の人がどのようにやっているのかを見て、私は少しノウハウを学んでいるのではないかと思いますし、RecSysチームとのブランディ協業をしながら「共有」を実践する上で多くの助けを得たと思います。
ジュンヒョン
「もう一歩」と言いたいのですが、私たちの会社の違いは、リーダーシップに参加して意思決定を共有できることであり、意思決定を行う際に「もう1歩」できることの価値を学び、受け取ることができることは非常に役立つと思います。
他の企業とは異なり、ジュニアも所有権を持ち、重要な決定に参加または共有することができます。 これに積極的に参加すると、それが私の製品であり、顧客に高く評価されていると本当に思います。 そのマインドセットで仕事をすることで、自然と「もう一歩」と思えます。
最後に今後の予定や
他のスターの皆さんに一言お願いします。
ヒョンウ
今年は、 Kaggle H&M Challengeと ACM RecSys Challenge 2022 で好成績を収めました。一方で、最高ランキングでは多くの要望が残っていたものもありました。(しかし、それはそれをうまく補完し、ブランデーは良い結果をもたらしました。来年はノミネートコンテストがあり、私の目標と計画は、 今年の残りの期間に推奨分野を研究して、来年はより良いパフォーマンスの論文とより良い結果のプレスリリースを書くことができるようにすることです。
ジュンヒョン
私は顧客を助け、「AIを有益にする」製品を作ることに非常に興味があります。 実際のサービスに簡単に適用できるレコメンドシステムを作るか、ミッションの実現に役立つ製品を作る方向を考えています。このプロセスが、実際の戦士の価値を高める原動力になれば幸いです。
原性
今年 は残りのPoCをうまく終えることが目標ですし、来年に向けて少し準備する必要があると思います。私は最近テックリーダーになりましたが、少し負担になるのでうまくやらなければならないと感じています。
ナムジュン
UpstageさんがおすすめするAIパックをうまく自動化して、将来的にはお客様にうまく対応できるようにしたいです。そして、私の仕事のギャップを埋めるために私と一緒に働いているスターに感謝したいです、そして私は今年の残りをうまく終えることを願っています。
-
-
Upstageは、「AIを有益なものにする」というミッションのもと、AIでより有益な世界を創造するために、OCRパックやレコメンデーションパックなどのAI製品を開発しています。詳細については、アップステージのホームページをご覧ください。
