ChatGPTのトークン圧縮の可能性を探る

ChatGPTのトークンはAPIコストや、入力制限の影響を与えるため、トークンを圧縮・解凍する方法があればその限界を克服できる可能性が高まります。APIのコスト削減にも役立つ可能性が高いです。

今回の検討では、どうやらできそうだといういくつかの検討を行いました。

着想はTwitterでトークンを圧縮できるというつぶやき

検討する価値はありそうです

ChatGPTで実験

自分のブログ記事を使って試してみました。

ChatGPTの返事

できない?

おー、どうやら結構良さそうな答えが返ってきましたね。

凄いですね。暗号化するとトークンが圧縮できるようです。いろいろ試したところ、このやり方が一番復元率が良かったです。

GPTにトークン数を聞いてみると

暗号復元前のトークン数:41
暗号復元後のトークン数:375

実に9倍もの圧縮に成功していますね。これは驚きです。

他の圧縮方法

絵文字でもできるらしい

復元率が悪いですね。

絵文字圧縮前のトークン数(おおよそ): 204 絵文字圧縮後のトークン数(おおよそ): 69

この復元は、圧縮文章から抽出できる情報に基づいていますが、元の文章と完全に一致しているわけではありません。絵文字による圧縮では、情報の細かいニュアンスや文脈が失われる可能性があります。

検討結果

暗号化を利用することで、文字数(トークン)が減り、GPT-4で復元できることがわかりました。これは、さらなる応用が期待できます。

現状はChatGPTのトークン圧縮はできるということなのでAPIと組み合わせるとコストを大幅に減らすことができるかもしれません。

  • この記事を書いた人

drーharv

内科医です。資産運用や副業など、さまざまな手段を試しています。このブログでは、医師としての生活、投資、趣味など、幅広いトピックを綴っています。読者の皆様にとって何か参考になる情報があれば、幸いです。

-ChatGPT, ツール