微软用GPT-4进行指令微调提升性能

微软最近用上了GPT-4进行大模型指令微调，这一方法被证明有效地提高了LLMs的零样本和小样本泛化能力。指令微调方法有两种，一是使用人类标注的prompt和反馈，二是使用通过手动或自动生成指令增强的公共基准和数据集来监督微调。Self-Instruct微调是一种简单有效的方法，它使得LLMs与人类意图对齐。Meta LLaMA是一系列开源LLMs，其性能与GPT-3等专有LLMs相媲美。因其卓越性能和低成本，Self-Instruct方法已被广泛采用。可以尝试的搜索关键词：微软 GPT-4 指令微调 Meta LLaMA