为什么ChatGPT接口有最大tokens限制，而官方提供的网页版本却可以无限的交流？

   很多人好奇为什么ChatGPT接口有最大tokens限制，而官方提供的网页版本却可以无限的交流？

我的认为他的处理机制是这样的：
1. 首先他会将每次输入的问题和回答都保存到起来，同时也会保存对应文本的Embedding词向量数据。
2. 然后在下一次输入的时候，会将最后一次的输入的词向量数据和当前输入的词向量数据进行拼接，然后再输入到模型中。

这样的话，模型就可以做到，只要单次回答的输入不超过最大tokens的限制了，就可以无限的聊下去。

我的理论支持点：
1. 在ChatGPT的聊天测试过程中，无论交流多长只要不是一个问题的输入内容超过了最大tokens的限制，他都可以无限的回答下去。
2. ChatGPT允许在任何一次历史的会话中编辑问题重新获取答案，这也说明了他不仅保留了每次的历史问答数据，还保留了对应的词向量数据。

大家有更多的看法，欢迎留言交流。

参考资料：

https://chat.openai.com/share/edf315c0-97f4-4eae-8ea1-355d3845c300

https://github.com/liaokongVFX/LangChain-Chinese-Getting-Started-Guide