1. 首页
  2. 操作系统
  3. 其他
  4. GPT-4扩展到百万token,突破了文本输入限制

GPT-4扩展到百万token,突破了文本输入限制

上传者: 2023-06-28 22:47:10上传 ZIP文件 312.58KB 热度 11次

OpenAI的GPT-4可以处理长达50页的文本输入,而谷歌研究院的CoLT5更进一步,将其扩展到64k的上下文token长度。这一突破对于处理长对话、长文本以及文件搜索和分析具有重大意义。通过使用名为Recurrent Memory Transformer(RMT)的架构,研究者还发现可以增加BERT模型的有效上下文长度。这些突破将为计算机科学和搜索引擎优化带来新的发展机遇。

下载地址
用户评论