私個人はGPT-4をメインに使用していて特にアウトプットが変わった印象はないのですが、
ChatGPTの回答のクオリティが落ちているという評判がユーザーから上がっています。さらに、
「ChatGPTの性能は以前より低下しているのでは？」
かなりのユーザーが感じていたこの減少について，実際に検証した研究が公開されました．https://t.co/ZSvj3qgnDW
結論は「想像以上にものすごく下がっている」で,GPT-4はコード生成や質問解答の一部タスクで10分の１以下の性能という衝撃の結果です pic.twitter.com/xBX8Q52exw— 今井翔太 / Shota Imai@えるエル (@ImAI_Eruel) July 19, 2023
ChatGPTのパフォーマンス低下の原因
どうやら、OpenAI側で調整チューニングがおこっていて、いくつかの質問に対する回答のクオリティが落ちているようです。また、興味深い意見にChatGPTが自身で生みだしたテキストで学習を繰り返しカニバリズムがおこり
パフォーマンスが低下するのではないかという意見がありました。
最近、ChatGPTの回答のクオリティが落ちているという評判があり、その原因は生成AIが書いたテキストがウェブに溢れ、そこから学習したせいで回答の整合性と品質が落ちるというフィードバックループ（「AIカニバリズム」）に陥っているせいではないか、という推測。https://t.co/wxLLQqq1m3
— Minao Kukita 久木田水生 (@minaokukita) July 16, 2023
今後の展望
ChatGPTは非常に便利な機能を有していますが、学習した内容によってそのパフォーマンスが変化することも重要です。さらに、爆発的に増加するAI生成物による学習の問題も孕んでいます。
OpenAI側で定期的にチューニングがおこることも考えられますので、パフォーマンスの上下は今後もあるのかもしれません。
