大型语言模型综述：从T5到GPT-4的全面总结

预训练或调整适应性后，使用大型语言模型（LLMs）的主要方法之一是设计适用于各种任务的prompt策略。上下文学习是一种典型的prompt方法，它以自然语言文本形式的任务描述或演示进行。此外，思维链prompting方法通过将一系列中间推理步骤纳入prompt，增强了上下文学习。本节详细介绍了这两种技术。上下文学习（ICL）作为一种特殊的prompt形式，是GPT-3首次提出的，已成为利用LLMs的典型方法之一。思维链prompt思维链（CoT）是一种改进的prompt策略，可提高LLM在复杂推理任务（如算术推理、常识推理和符号推理）中的表现。与ICL不同，CoT将导致最终输出的中间推理步骤纳入prompt。第6.2节详细说明了CoT和ICL的用法，并讨论了CoT的有效性和原因。能力评估研究者利用大量任务和基准来实证评估和分析LLMs的有效性和优越性。