LaMDA（Language Model for Dialogue Applications）是由谷歌公司开发的对话式语言模型，由诺姆·沙泽尔（Noam Shazeer）创造，基于Transformer神经网络架构构建，参数规模达1370亿个。诺姆·沙泽尔于2021年10月离开谷歌并创立Character.AI，后于2024年随谷歌对该公司的技术授权回归，继续领导相关人工智能计划 。该模型于2021年谷歌I/O开发者大会上首次发布，通过1.56T词汇的对话数据和网络文本训练（标记为2.81T SentencePiece token），使用GSPMD预训练模型预测句子中的所有下一个token，实现多主题自由交流及上下文语境感知响应 。与大多数其他语言模型相比，LaMDA是通过对话来训练的，这使得模型能够识别不同的细微差别，从而将开放式对话与其他形式的讲话区分开来 。
2022年谷歌I/O大会推出LaMDA 2版本，允许数千名员工参与测试以优化回答质量，新增围绕主题持续对话、生成关联列表等功能 。模型采用生成器与分类器协同机制，生成器生成候选响应后由分类器预测SSI和安全分数，过滤低安全分数响应并按SSI分数重新排名，同时通过调用外部知识源提升响应的事实基础 。2022年11月ChatGPT发布后，谷歌内部拉响“红色警报”，LaMDA团队被要求优先开发对ChatGPT的回应。谷歌随后推出了基于LaMDA开发的聊天机器人Bard。2023年4月，谷歌将Google Brain和DeepMind合并成立新的Google DeepMind部门。谷歌联合创始人谢尔盖·布林在此期间回归，花费大量时间与AI团队在一起并参与技术工作 。谷歌研究员布莱克·莱莫因曾声称该模型具备类人意识，但谷歌官方否认该结论，强调其本质为基于统计模式的对话生成系统 。相关技术细节发表于论文《LaMDA: Language Models for Dialog Applications》 。
想要了解更多“LaMDA”的信息，请点击：LaMDA百科
