用GPT-4做指令微调可提高大模型零样本性能

微软最近使用了GPT-4来做大模型指令微调，这一技术正在不断提升水平。大语言模型（LLMs）已经显示出了令人印象深刻的泛化能力，但是人类标注的prompt和反馈用于微调仍然不够高效。Self-Instruct微调是一种新的指令微调方法，通过使用SOTA指令微调的教师LLMs生成的指令，使得LLMs与人类意图更加对齐。这种方法已经被广泛采用，因为它能够提高LLMs的零样本和小样本泛化能力。对于开源LLMs，使用指令微调来提高它们的性能也是有巨大机会的。Meta LLaMA是一个开源LLMs，其性能与GPT-3等专有LLMs相媲美。因此，快速采用Self-Instruct微调是很重要的。这一技术可以使LLaMA遵循指令，提高大模型零样本性能。