GPT-4扩展到百万token，突破了文本输入限制
OpenAI的GPT-4可以处理长达50页的文本输入，而谷歌研究院的CoLT5更进一步，将其扩展到64k的上下文token长度。这一突破对于处理长对话、长文本以及文件搜索和分析具有重大意义。通过使用名为Recurrent Memory Transformer（RMT）的架构，研究者还发现可以增加BERT模型的有效上下文长度。这些突破将为计算机科学和搜索引擎优化带来新的发展机遇。
下载地址
用户评论
