GPT-1

GPT-1

GPT-1是OpenAI 在2018 年,推出的第一代生成式预训练模型。

此前,NLP 任务需要通过大规模数据集来进行有监督的学习,需要成本高昂的数据标注工作。

GPT-1 的关键特征是:半监督学习。先用无监督学习的预训练,在 8 个 GPU 上花费 了 1 个月的时间,从大量未标注数据中增强 AI 系统的语言能力,获得大量知识,然后进行有监督的微调,与大型数据集集成来提高系统在 NLP 任务中的性能。

想要了解更多“GPT-1”的信息,请点击:GPT-1百科