トップ > LLM関連 > Sider という超絶便利なChatGPT系拡張機能が動作しなくなった件

Sider という超絶便利なChatGPT系拡張機能が動作しなくなった件

LLM関連 備忘録

勘弁してくれよ

Sider とは？

Sider は、ChatGPTをウェブサイトのサイドバーに表示するChrome拡張機能です。ChatGPTは、OpenAIの製品で、インターネット上のテキストを学習した人工知能です。 Sider ChatGPTを使うと、ウェブサイトの内容に関する質問をChatGPTに聞いたり、要約や翻訳などの機能を利用したりできます。

Webサイト上のテキストをそのままGPTに投げたり、既存のプロンプトで翻訳させたり要約させたり、とにかく便利な拡張機能です。

他にもGoogleの検索画面にChatGPTの結果を表示したり、文章を作成させたり、色々なことが可能です。

既に話題になっているので使っている人も多いはず。

何より、Siderのいいところは、ChatGPT Plusに入っていれば、拡張機能側の有料プランは要らないというところ。

類似の拡張機能は幾らでもある(monica,UseChatGPT.AIなど。)が、これらは拡張機能側のAPIを経由してChatGPTを利用するので、ChatGPT Plusに入っていようが、拡張機能側にお金を落とさないといけません。

SiderはChatGPT Plusに入っていれば、GPT-4もGPT-3.5もChatGPT Plusの範囲内であれば、利用が可能です。(Sider側のAPIを経由する、プレミアムプランもある)

まぁ、ちょっとパケットキャプチャすると怪しい通信をしていたりするし、ChatGPTの利用規約的にもグレーゾーンではあるのですが、便利すぎて手放せなくなっています。

そのSiderに数日前から問題が起きている

問題が発生中

そんな便利なSiderですが、数日前から問題が起きています。

Sider経由でChatGPTを利用すると、下記のようなメッセージが表示されるようになっています。

ChatGPT Webapp: Only one message at a time. Please allow any other responses to complete before sending another message, or wait one minute. うまくいかない場合: Sider API に切り替えて、安定してアクセスできるようにします (全員) または、設定ページで独自の API キーを使用します (開発者向け)。

これは、

一度に1つのメッセージのみ処理できます。他の応答が完了するまで、または1分待ってから別のメッセージを送信してください。

という内容で、本来は、同時に2つ以上のメッセージをGPTに投げると表示されるものです。

ただし、今回の問題では、同時に2つのメッセージを送っていない、どれだけ時間を空けても、このメッセージが表示されてしまいます。

また、このメッセージが表示されていても、ChatGPTのWebサイトからGPT-4に要求を投げると、通常通り回答が帰ってきます。

以上が、現在確認している問題です。

切り分け

まず、この問題がユーザー側の問題なのか、ChatGPT側の問題なのか、Sider側の問題なのかを切り分けます。

あらゆる手持ちのPC(デスクトップ、Macbook Air、Macbook Air内の仮想Windows)で試しましたが、同様の問題が起きます。

僕はEdgeを利用しているので、Chromeなどでも試しましたが同じ症状が起きます。

また、ChatGPTのWebサイトを経由している拡張機能ということで、ChatGPTサイトのキャッシュ削除やCookieの削除を実施しましたが、上手くいきませんでした。

ということで、ユーザー側の問題ではないと切り分けました。

次にChatGPT側の問題、ですが、少なくともWebサイト側でChatGPTが動いている以上、問題ないと考えました。OpenAIのサイト上で確認できる、StatusもずっとUPしています。

となるとSider側を疑いますが、レビュー等で騒いでいる人もおらず(そもそもサクラっぽい星5レビューだらけ)、Twitterでも日本人の利用者はあまりいないのか情報がありません。

ということで原因がSiderにあると見て、色々検証をしてみます。

使えるパターンもある

使おうと思えば使える

 

実はこのSider、現在も使える回避策があることが分かりました。

それは、モデルをGPT-3.5に設定することです。

モデルが選択できる

Siderの設定内に、どのモデルを利用するかの設定があります。

ここはPlusユーザーとしては当然、最優秀なモデルのGPT-4を利用したいところなのですが、GPT-3.5にするとSiderがまともに動くようになり、先ほどのエラーメッセージも出なくなりました。

また、GPTには実はGPT-3.5やGPT-4以外にもモデルがあり、GPT-4関連以外のモデルであれば通常通り動くことが分かりました。

Sider側の不具合、もしくはSiderがAPI課金に誘導したいから絞っていると思っていたのですが、どうやら、OpenAI側が拡張機能から利用される、GPT-4をブロックしているような挙動をしているようです。

ChatGPT側を疑ってみることにしましょう。

ちなみに

ちなみに、選択できる各モデルの特徴を簡単に書いておきます。 (海外掲示板で噂されている程度の情報もあるので、参考程度に)

モデル名 スピード (0-100) 推論能力 (0-100) 簡易性 (0-100) 説明 弱点
GPT-3.5 Mobile 100 60 40 最速のモデルで、ほとんどの日常タスクに適しています 日常のタスクに適していますが、複雑なタスクの推論能力は限定的です
GPT-3.5 90 60 40 速度が速く、ほとんどの日常タスクに適しています 日常のタスクに適していますが、複雑なタスクの推論能力は限定的です
GPT-4 Mobile 80 70 80 最適化されたモデルで、革新的で高度な推論タスクにより適しています 速度は遅いですが、推論能力は強力です
GPT-4 70 100 80 最も能力のあるモデルで、革新的で高度な推論タスクに適しています 速度は遅いですが、推論能力は強力です
GPT-4 Browsing 60 不明 不明 インターネットをいつ、どのようにブラウジングするかを知る実験的なモデル 効果は未知数です

このうち、現在のSiderでも利用できるのは

  • GPT-3.5 Mobile
  • GPT-3.5
  • GPT-4 Mobile

です。GPT-3.5は個人的には実用的なレベルを下回っていると思っているので、GPT-4 Mobileでいいじゃん！といいたいところなのですが、GPT-4 MobileはどうもGPT-4よりも遙かに能力が劣るような噂がされています。

About | GPT-4 Mobile | Userscripts | OpenUserJS

  • GPT-4 Mobile V2はモバイルアプリケーションでチャットを作成する際に使用され、一部のユーザーはこのバージョンがオリジナルのGPT-4ほど知能が高くないと考えています。
  • このモデルはGPT-3ともラベル付けされていることに一部のユーザーが気づき、このバージョンはGPT-3.5の別のレプリカではないかと疑っています。
  • 一部のユーザーはこれを詐欺的な行為と見ています。モバイルとウェブの両方のプラットフォームで会話を作成し、GPT-4を選択すると、顕著な違いがあると感じています。彼らは、実際にはGPT-3モデルを使用しながらGPT-4のクレジットを消費する方法だと認識しています。
  • 一部のユーザーは、GPT-4 Mobile V2がリミッターを欠いているように見えることを観察し、これはGPT-3の古いバージョンと新しいバージョンの間の進歩に似ているのかもしれないと推測しています。
  • 他の人々は、OpenAIがパフォーマンスを維持しながらモデルを縮小し、運用コストを削減したのかもしれないと推測しています。

しかし、これらはすべてユーザーの推測と観察であり、OpenAIからは公式の説明は提供されていません

実際のところ、GPT-4 Mobileを使ってみると、GPT-3.5よりはマシだけど、GPT-4のような賢さは感じられず、GPT-3.7くらいの性能である感覚です。

そもそもGPT-4を使うためにChatGPT Plusのサブスクリプション20ドルを毎月払っているのに、この扱いは酷すぎると思います。(いくらグレーゾーンのエクステンションであってもユーザーに非はないわけで)

何でこんなことになったのか、更に確認してみましょう。

原因は・・・。

犯人

結論からいうと、原因は「ChatGPT側のDDoS防御・ロボットテスト」によるものだと思います。

先述のエラーメッセージが表示された後、ChatGPTのWebサイトからGPT-4に呼びかけると、以下のようなロボットテスト(reCAPTCHAのようなもの)が表示されます。

しかも何回も出る

つまり、ChatGPT的にはロボットからの質問(ユーザーが介在していないセッション)なのではないかと認証をブロックし、そのブロックで応答が帰ってこずSiderはエラーを出していると思われます。

これはあたかもアカウントの保護、という名目で表示されていますが、OpenAI的には定額でAPI経由ではないにもかかわらずあらゆるツールやエクステンションがWebサイト版ChatGPT経由でセッションを投げてくることに痺れを切らし、負荷軽減として導入したものだと思います。

つまりSiderに非はありません。そもそもタブ固定していないといけない、たまに詰まるので更新してあげないといけない、かなり無理のある作りでありました。

結論

ということで、結論としてはOpenAI側の制限であることが分かりました。

ChatGPT Plusはそもそも少し高価な設定にも関わらず、GPT-4のリミットが厳しくなるばかりで緩和もされない中でユーザーが上手くやりくりしているものを、急にこのような仕様変更をしてくるのはあまり好ましくは思えませんでした。

GPT-3.5、もしくはGPT-4 Mobileであれば従来通り使えますが、GPT-4以外ははっきり言って平気で嘘をつくしアシスタントとしてはまともに使えないものなので、OpenAIがとち狂ったことを撤回、考え直してくれる事を祈るばかりです。

ちなみに、この件はSiderのサポートチームにもメールして様々な情報やスクリーンショットを提供しつつ、相談していました。

すると度々すぐに返信があり、最終的には

Hi,

Thank you so much for providing the information. We've confirmed that the problem is with the protection verification. OpenAI has strengthened the restrictions, and we are working on finding a solution.

Currently, you can try using GPT-4 (mobile), which is still available for use now.

Thanks again.

Best, Sider team

こんにちは、

情報を提供していただき、ありがとうございます。私たちは問題が保護検証にあることを確認しました。OpenAIは制限を強化していますので、私たちは解決策を見つけるために作業しています。

現在、まだ利用可能なGPT-4（モバイル）を試すことができます。

再度、感謝いたします。

よろしくお願いいたします、 Siderチームより

こちらの、拙い英語にも関わらず、迅速に回答をしてくれた上に、こちらの情報提供をすぐに把握・理解して迂回案を提案してくれました。

まあ、善悪は置いておいて、優秀なサポートチームだなと感じましたが、今回のDDoSプロテクションのようなものは迂回が難しいと思うので、Sider側からはどうしようもないだろうなと思っています。

ChatGPT側にクレームでも入れたいところですが、規約的には怪しいということでどうしようもないですね。Siderに限らず、APIではなくChatGPTのWeb版を経由してGPT-4モデルを利用する拡張機能やソフトウェアは全て全滅だと思います。

こればかりはどうしようもないですが、API系の従量課金やサードパーティーへのセッション上限あり課金には抵抗あるんだよなぁ。きりが無いし。3時間25セッションとはいえ、何も考えずに使えるChatGPT Plus以外は入りたくないのが本音。