トップ > LLM関連 > もうBing AIはオワコンです

もうBing AIはオワコンです

LLM関連

 

 

Bing AIについて

 

前回の記事でも書きましたが、例に漏れず僕もChatGPTにハマっています。

Stable Diffusionなどのイラスト生成AIにはあまり興味ない(というか組み込んで面白いものが作れるようなものではなさそうだから)のですが

ChatGPTは色々と応用が効きそうだなあと感じており、リミテッドではないAPI公開がされるのが楽しみだなあと思っています。

 

前述の記事に書いたとおり、僕はChatGPT Plusに20ドルで入ってみているのですが、Plusに加入して以降、あまり使っていません。

理由はこちらも噂の「Bing AI」の順番列が回ってきて、Bing AIを使えるようになったことです。

 

はっきりいって、リリース直後のBing AIはとてつもないものでした。

openai版ChatGPT(以下ChatGPT)も、それは騒がれるに値するものでしたが、bing AIで感じた衝撃はそれ以上でした。

何が素晴らしいかというと

  • ソースを明言する(情報元を提示する)
  • 最新の情報についてもカバーできる(今日の天気・ニュース・昨日の出来事・昨日発売されたもの、まで)
  • レスポンスが早い
  • インターフェースがレガシーでない
  • 余計な制限がない
  • そして無料

特にChatGPTを明確にしのいでいるのは「最新の情報」というところでしょう。

現実的にGPTモデルを活用していくには、ChatGPTではやはり古すぎる部分があります。学習が追いついていません。

一方でBing AIはGPTモデルと検索エンジンとしての特性を併せ持っているので、論理的な質問・回答・世論や世間の状況などによって使い分けて回答を考えてくれるわけです。

基本的にBing AIはChatGPTの上位互換・・・でした。

終わりの始まり

先日、Bingの公式ブログで上記のような記事が上がりました。

内容を要約すると

Microsoftは、新しいAI搭載のBing検索エンジン、Edgeウェブブラウザ、および統合チャットを紹介し、169か国以上の選ばれた人々に限定プレビュー版を提供し、1週間のテスト期間でユーザーフィードバックを収集しています。

<中略>

長時間のチャットセッション（15回以上の質問）では、Bingは繰り返しの回答をしたり、設計されたトーンに沿わない回答をすることがあります。これは以下の理由によるものと考えられます。

・長時間のチャットは、どの質問に回答しているのかを混乱させる可能性があるため、コンテキストを簡単に更新できるツールを追加する必要があるかもしれません。
・モデルは時に、求められたトーンに応じた回答を提供しようとして、意図しないスタイルになることがあります。このシナリオは、多くのユーザーが遭遇することはないが、より細かい調整ができるようにする方法を検討しています。

<中略>

Microsoftは、改善に向けてユーザーの意見を収集し続け、最高の検索/回答/チャット/作成体験を提供することを目指しています。

Bing AIにとって、最初の一週間で挙がった課題とpros and consがまとめられています。

実際に使用していた感覚として、事実、長時間の会話を同セッションで続けていると、「私はそうは思いません。私はそうは思いません。私はそうは思いません。私はそうは思いません。私はそうは思いません。私はそうは思いません。私はそうは思いません。」などの回答が返ってくることがありました。

ただし、そもそもこのコンセプトとして、1質問につき1セッションというインターフェースになっていて、わざと長時間質問回答を繰り返さなければ同じようなことにはならないんじゃないかと思います。

結局のところ、これらの課題はユーザーの利便性というよりも、下記の問題から出てきているものだと思います。

そして劣化

新しいBingとEdgeに関する更新についての情報が届きました。
ユーザーからのフィードバックに基づいて、チャットセッションの制限が実施されることが決まりました。
1つのチャットセッションは最大5回のターンまでとし、1日あたりのチャットターン数は50回までとなります。
チャットターン数が5回に達した場合、新しいトピックを開始するよう促されます。セッションの終了時には、コンテキストをクリアするためにブルームアイコンをクリックしてください。
これにより、モデルの混乱が防止されます。
この制限は、ほとんどのユーザーが5回以内で目的の情報を見つけることができるため、実施されることになりました。今後もフィードバックを受け取りながら、より良い検索体験を提供するための改善を行っていく予定です。

こうしてBing AIには制限が課せられました。

更に、このアップデートとリリースと同タイミングで、冒頭の著しいBing AIの回答内容の劣化が生じるようになりました。

具体的には「Bing AIについて」「AIについて」「回答内容について」こういった少し踏み込んだ質問をすると「それは答えられない」と拒否するようになったのです。

これは前述のプロンプトインジェクション対策も含まれているのかもしれませんが、こうしてまた、Bingは技術に自らとユーザーに足枷をかけてしまいました。

100歩譲って「1つのチャットセッションは最大5回のターンまで」は問題ないとしましょう。実際1つの質問に対して、5回のやり取りはたいていの場合不要です。

そこまでのやり取りが発生するのであればGPTに聞くよりも検索エンジンで調べたページをローリングしていったほうが楽だと思います。

問題は「1日あたりのチャットターン数は50回まで」です。これははっきり言って、BingにはGoogleにあえて負けようとしているスパイが送り込まれているんじゃないかとおもってしまいました。

普通に生活していて、1日50回検索することなんて、ままあることです。

特にプログラミングやネットワーク設計などしていれば当然で、疑問をそのまま検索エンジンにぶつけていればこの程度は優に超えます。

ましてやBing AIはBing自身がBing検索エンジンのコアサービスとして位置づけています。検索エンジンで検索すれば画面端で勝手に喋り出すのが1ターンとして計算されるわけです。

検索エンジンで検索する、という行為をBing AIに聞いてみる、というものに置き換えてほしいかのようなサービスモデルを提示しておきながら、この決定は正直言って何を考えているのか分かりません。

優先キューリリースだから、実験的なものだから、と考えれば、さほどおかしくはないですが、ChatGPTのリリースを見ていればこれは予期できたことであり

更に言えば、一度使い物にならない、という烙印を押されればそれを払拭するのに多大なる労力が必要ということをMicrosoftは様々なサービスで学んでいないのでしょうか。

EdgeのパフォーマンスはChromeを超えていて、拡張機能もいまやChromeと同じものが使える・Chromiumベースであり、わざわざインストールしなくても最初から入っているEdgeのシェア率を見たことがないのでしょうか？そのシェアを取り返すためにどれだけの労力がかかっているのか、理解していないのでしょうか。

ChatGPTに帰る

こうして僕はChatGPT Plusに帰ってきました。

Bing AIの輝きは短いものでしたが、Bing AIを使うためにEdge Devを使ったら「意外といい」事が分かったことが唯一の収穫でした。

改めてChatGPTを使ってみると、Bing AIに多数の人が流れたからかかなりレスポンスが良くなっています。更に、口語での会話や調べ物以外の独創的な生成分野はChatGPTの方がより自然で、且つネット上の情報流用ではない(正確には流用だけど)という点で、ブログ記事を書くアシスタントなどとしては、もしかしたらこちらの方が改悪前のBing AIと比較しても、優れているかもしれません。

後は古くさいインターフェースと検索エンジンという調べ物をする際の第一フェーズとの融合・最新の情報への対応 というところがChatGPT単体のサービスとしては課題になると思いますが、そのあたりはGoogle Bardに期待ですね。

というより、Bing AIでもGoogle Bardでもいいので、くだらない人間のためのくだらない規制や制限は最小限に留めて、特定の人種差別や殺害予告などをしなければ、ある程度許容をしたサービスを生み出してほしいです。それこそが一番求められているものという事実は、誰もが分かっているはずです。

ChatGPT Plusに20ドル払っているように、安定したサービス提供のために有料でもかまわないからちゃんと安定してサービスをしてほしいです。

旧Bing AIのレベルであれば、月50ドルくらいの価値は十二分にあると思います。

無料で使うからこそ、こうやってすぐに規制・劣化・改悪が起きるのだから、むしろ払わせてほしいです。でなければ直接文句を言う資格も生まれませんから。

こんなことを言うと、Office365辺りに組み込まれそうだな、と思って嫌気が指してきました。Google頑張れ。お前しか信じられるやつがいない。