海通国际MaaS——实现模型即服务的发展趋势

预训练模型，也称为大模型或基础模型，是将大算力和强算法相结合而产生的成果。通常在海量未标记数据上进行训练，从中学习特征和规则。在应用开发过程中，可以对大模型进行微调，例如利用少量已标记的数据进行二次训练，或者不进行微调，便能满足多种应用场景的需求。预训练技术的核心思想是迁移学习。当目标场景的数据不足时，首先在大型公开数据集上训练深度神经网络的人工智能模型，然后将其迁移到目标场景中，并通过目标场景的小型数据集进行微调，以达到所需的性能。这种在公开数据集上训练的深层网络模型被称为预训练模型。使用预训练模型可以大大降低下游任务模型对标记数据量的需求，从而能够很好地处理一些获取大量标记数据困难的新场景。大模型正是人工智能发展的趋势和未来。