GPT-4oの力を検証:カスタマーサポートの新しい可能性

カスタマーサポートにおける効率と顧客満足度の向上を目指し、最近注目を集めている大規模言語モデル(LLM)をどのように組み込むか、その検証を進めています。今回は、その取り組みの背景やプロセス、得られた知見について共有します。

GPT-4oの力を検証:カスタマーサポートの新しい可能性
  • プロンプトの送信回数:6回
  • 使用したモデル:GPT-4o, Perplexity, Claude3 Opus

AIとデジタルイノベーションでビジネスを変える時が来ました。
私たちと一緒に、効果的なマーケティングとDXの実現を目指しませんか?
弊社では、生成AI開発やバーチャルインフルエンサーの運用について無料相談を承っております。
お打ち合わせではなくチャットでのご相談もお待ちしております。

目次

背景と目的

検証プロセス

性能評価の結果

今後の展望

AIによるまとめ

この記事は、AI(人工知能)によって生成されたものです。
内容は専門家による監修や校正を経ておらず、AIの現在の能力と知識ベースに基づいています。
したがって、記事の内容には限界があり、専門的な意見や最新の情報を代替するものではありません。
読者は、この記事を参考の一つとして用いることを推奨し、必要に応じて専門家の意見を求めることをお勧めします。
以下から、AIライターの執筆が始まります。

背景と目的

顧客サポートの現場では、日々多くの問い合わせに対応する必要があります。迅速かつ正確な対応が求められる中、人間のオペレーターだけでは対応が追いつかないこともしばしばです。そこで、自然言語処理(NLP)の分野で飛躍的に進化しているLLMを導入することで、サポート業務の効率化を図ることにしました。

左側アイコン
AI Lab

本日公開されたOpenAIの新モデル「GPT-4o」もAPI連携で試してみます。

【GPT-4o登場】OpenAIの革新的AIが切り拓く、自然な音声対話とマルチモーダル活用の新潮流
人工知能の分野で常に革新的な技術を生み出してきたOpenAIが、今度は新たなフラグシップモデル「GPT-4o」を発表しました。GPT-4oは、テキスト、音声、画像を横断して入出力を行えるマルチモーダル対応と、人間の会話レベルに匹敵するリアルタイム性を実現した画期的なモデルです。 この記事では、GPT-4oの機能や特徴、利用シーンなどについて、デモの様子や評価結果を交えながら詳しく解説していきます。OpenAIのCEO、サムアルトマンの言葉からも、GPT-4oへの期待の大きさが伺えます。人工知能とのインタラクションを一変させる可能性を秘めたGPT-4oの全容に迫ります。

「GPT-4o」についての詳細はこちら

検証プロセス

以下のステップで進めていきました。

ステップ1: モデルの選定

まず、どのLLMを利用するかを決定するため、市場に出回っている主要なモデルの性能を評価しました。具体的には、以下のモデルを検討対象としました。

  • GPT-4o
  • Gemini 1.5 Pro
  • Claude 3 Opus
  • Claude 3 Sonnet
  • Claude 3 Haiku
左側アイコン
AI Lab

今回は主要LLMに絞り込んだため、ローカルLLMは対象外としています。

ステップ2: データとプロンプトの準備

次に、当社のカスタマーサポートで実際にやり取りされている過去のデータを用意し、同一のプロンプトでテストしました。

ステップ3: 性能評価

回答精度に大きな差は生じなかったので、実際の使用環境での応答速度の結果で検証します。

性能評価の結果

以下に、各モデルの質問への回答生成にかかる所要時間の結果とトークン数を示します。

  • Gemini 1.5 Pro: 2.77秒
  • Claude 3 Haiku: 3.63秒
  • GPT-4o: 6.47秒
  • Claude 3 Sonnet: 13.70秒
  • Claude 3 Opus: 21.28秒

トークン数に関しては、GPT-4oが30,338であるのに対し、それ以外のモデルは40,961トークンとなりました。

コメント

Google Cloud上での環境で実行しているので、通信面ではGemini Proが有利ではあるものの、GPT-4oがOpenAIのAPIを直接叩いていることを考慮していると健闘しているなという印象です。とはいえ、応答速度はGemini 1.5 Proも優れていますね。

また、 GPT-4o はトークン数が他の 3/4 程度 (30,0338tokens) のため速度やコストの面で悪くない印象です。

今後の展望

今回の検証を通じて、LLMをカスタマーサポートに導入することの有効性が明らかになりました。今後は、以下の点に注力していきます。

  • システムの最適化: 現場での運用に耐えうるシステムの構築
  • 継続的な改善: ユーザーフィードバックを元にしたモデルの継続的な改善
  • 他業務への展開: カスタマーサポート以外の業務へのLLM活用の検討

GPT-4oの登場により、AI技術の進化がさらに加速し、多様な分野での応用が期待されています。特に、ビジョン機能の強化により、画像とテキストを組み合わせた新しい形のコンテンツ生成や、より高度な自然言語理解が可能になることが予想されます。これにより、AIを活用した新しいサービスやアプリケーションの開発が促進されることでしょう。

AIによるまとめ

カスタマーサポートへのLLMの導入は、今後ますます重要性を増していくと考えられます。今回の検証結果を基に、さらなる改善と最適化を進めることで、顧客満足度の向上に努めてまいります。読者の皆様からのご意見やフィードバックをお待ちしておりますので、どうぞお気軽にお寄せください。

私たちの取り組みを通じて、より多くの企業がLLMの利便性と効果を実感し、活用していただけることを願っています。

最後に

弊社では、AIを活用したマーケティングやDXのご相談を承っておりますので、ご興味がある方はぜひご連絡ください。

Read more

LMSYSを活用して最先端のAI研究を加速しよう

LMSYSを活用して最先端のAI研究を加速しよう

大規模言語モデル(LLM)の研究が急速に進む中、オープンな研究コミュニティとして注目を集めているのがLMSYS(Large Model Systems)です。LMSYSは、最先端のLLM研究を推進し、その成果を広く社会に還元することを目的とした非営利団体です。 Chatbot Arena、Vicuna、FastChatなど、LMSYSが開発した革新的なプロジェクトは、研究者や企業だけでなく、一般ユーザーにもLLM技術の恩恵をもたらしつつあります。本記事では、LMSYSの主要プロジェクトを紹介し、それらを企業や個人が活用する方法について探っていきます。

By Hiro from AI Lab
【GPT-4o登場】OpenAIの革新的AIが切り拓く、自然な音声対話とマルチモーダル活用の新潮流

【GPT-4o登場】OpenAIの革新的AIが切り拓く、自然な音声対話とマルチモーダル活用の新潮流

人工知能の分野で常に革新的な技術を生み出してきたOpenAIが、今度は新たなフラグシップモデル「GPT-4o」を発表しました。GPT-4oは、テキスト、音声、画像を横断して入出力を行えるマルチモーダル対応と、人間の会話レベルに匹敵するリアルタイム性を実現した画期的なモデルです。 この記事では、GPT-4oの機能や特徴、利用シーンなどについて、デモの様子や評価結果を交えながら詳しく解説していきます。OpenAIのCEO、サムアルトマンの言葉からも、GPT-4oへの期待の大きさが伺えます。人工知能とのインタラクションを一変させる可能性を秘めたGPT-4oの全容に迫ります。

By Hiro from AI Lab
LINEで相談