据最新报道，谷歌计划在即将到来的“谷歌 I/O”年度开发者大会上，以人工智能 (AI) 为主题，发布一系列重磅产品和技术成果。其中，备受期待的大型语言模型 (LLM) “PaLM 2”将以其强大的编程能力和超过100种语言的支持，引领人工智能应用的新篇章。
一、走进PaLM 2：谷歌最新的大型语言模型
内部文件显示，谷歌将在这次大会上对外发布最新版本的大型语言模型“PaLM 2”。这个语言模型已经在谷歌内部进行试验，测试代号为“统一语言模型（Unified Language Model）”。据悉，这一语言模型具有更高的“智商”，已经能够编写软件代码，完成数学考试，也能够完成创意作文和分析方面的测试。而就在不久前，谷歌刚刚宣布要将 Bard 的轻量级 LaMDA 模型升级为更大规模的 PaLM 模型，使 Bard 在处理常识推理和编程问题等任务时能力更强。
对于即将发布的PaLM 2，谷歌期待它能够进一步拓展AI的应用范围，提高AI的实用性，以满足不同用户的需求。谷歌及其母公司 Alphabet 首席执行官 Sundar Pichai 将在此次大会上进行演讲，介绍该公司在人工智能领域的最新进展。
二、与竞争对手的较量：人工智能领域的竞争加剧
此次谷歌的更新正值人工智能领域的竞争日益激烈之际。尤其是，谷歌和微软都在竞相将聊天人工智能技术融入自己的产品中。微软正在借助对 ChatGPT 创建者 OpenAI 的投资来支持其必应搜索引擎，而谷歌则迅速行动起来，试图在不同的团队中整合其 Bard 技术，并推出自己的 LLM。
有文件显示，谷歌还计划分享 Bard 和搜索方面取得的进展，提供所谓的“生成式体验”，包括将 Bard 用于编码、数学和“逻辑”。另一份内部文件显示，谷歌还在内部开发了一个名为“Multi-Bard”的多模态模型版本，它使用了更大的数据集，可以帮助解决复杂的数学和编码问题。此外，谷歌还测试了名为“Big Bard”和“Giant Bard”的版本。
三、谷歌大模型PaLM2的代码生成能力
PaLM 2 的发布无疑将成为大会的一个重要的亮点。谷歌于 2022 年 4 月首次宣布推出 PaLM Language 模型。此后，PaLM 的应用在这一年取得了很大的进展，今年 3 月，该公司推出了一款适用于 PaLM 的 API 以及一系列人工智能企业工具，称这将帮助企业“通过简单的自然语言提示生成文本、图像、代码、视频、音频等”。
上个月，谷歌称其名为“Med-PaLM 2”的医学 LLM 可以回答“专家医生级别”的医学检查问题，准确率达 85%。这一结果令人震惊，显示了大模型在特定领域的专业应用可能性。
PaLM 是谷歌基于 Pathways 系统训练的一个 5400 亿参数的大型语言模型，相比之下，Bard 的 LaMDA 模型使用了 1370 亿个参数进行训练。为了训练这个模型，谷歌动用了 6144 块 TPU，让 Pathways 在两个 Cloud TPU v4 Pods 上训练 PaLM。
去年谷歌还发布了长达 83 页的 Pathways 系统论文，论文作者阵容很强大，还包括了 BERT 之父 Jacob Devlin。作者之一 William Fedus 在 Twitter 上说，这个项目花了 1 年多的时间，跨了多个部门（基础架构、数据、硬件等）。
这种强大的系统和算力投入带来了惊艳的结果，PaLM 在许多非常困难的任务上显示出了突破性的能力，包括语言理解、生成、推理和代码等相关任务。
PaLM 使用英语和多语言数据集进行训练，包括高质量的 web 文档、书籍、维基百科、对话和 GitHub 代码。研究者还创建了一个“无损（lossless）”词汇表，它保留了所有空格（对于代码来说尤其重要），将词汇表之外的 Unicode 字符拆分成字节，并将数字拆分成单独的 token，每个 token 对应一个数字。
因此，PaLM 在许多非常困难的任务上显示出突破性的能力。在需要多步骤算术或常识推理的推理任务上，PaLM 能解决 GSM8K 中 58% 的问题，这是一个包含数千个具有挑战性的小学水平数学问题的基准，这个得分接近 60% 的 9 到 12 岁儿童解决问题的水平。
在代码生成方面，给定自然语言描述（文本到代码）的情况下，PaLM 能很好地编写代码，将代码从一种语言翻译成另一种语言，以及修复编译错误（代码到代码）。这一能力显示了它在处理编程任务时的强大能力。
大模型相对小模型来说，可以更好地从其他编程语言和自然语言数据中实现迁移学习，所以具有 540B 参数的 PaLM 在单个模型中显示了横跨编码任务和自然语言任务的强大性能，即使它在预训练数据集中只有 5% 的代码。
另外，谷歌还通过在纯 Python 代码数据集上微调 PaLM ，将模型性能进一步提高，谷歌称之为 PaLM-Coder。对于给定的“DeepFix 示例代码”修复任务，谷歌研究人员想让大模型修改损坏的 C 程序，直到可以编译成功，PaLM-Coder 540B 展示了令人印象深刻的性能，实现了 82.1% 的编译率。这为修复软件开发过程中出现的更复杂的错误提供了机会。
四、谷歌Bard将接入PaLM模型，提升编程语言能力
谷歌首席执行官 Sundar Pichai 在接受 Hard Fork 播客节目采访时表示，谷歌语言模型助手 Bard 将从基于轻量级 LaMDA 模型升级为更大规模的 PaLM 模型。
此前，Bard 只能回答一些基本的编程问题，但如果用户想要了解更高级的编程概念或技巧，Bard 就会遇到困难。为了解决这个问题，Pichai 表示，Bard 有必要接入更大的语言模型。接入 PaLM 模型后，Bard 在处理常识推理和编程问题等任务时能力会表现得更强。
接入 PaLM 模型后，Bard 的编程语言能力将得到大幅提升。PaLM（Pretraining and Autoencoding for Language Modeling）是一种基于自编码器的大型语言模型，由谷歌 AI 实验室提出。PaLM 模型能够处理自然语言处理中更加复杂的任务，例如语言推理和情感分析等。
谷歌每年一度的开发者大会“谷歌 I/O”将于 5 月 10 日上午 10 点至下午 1 点（太平洋时间）举行，我们将继续关注谷歌 Bard 的动态，特别是关于大型模型编程语言能力提升方面的进展。这一进展将使得Bard 更加强大，有助于提高用户在编程学习中的体验和效率。
总的来说，谷歌的新语言模型 PaLM 2 的推出无疑是一个重大突破。它不仅在语言理解、生成、推理等方面显示出了突破性的能力，更在编程方面展现出了强大的实力。它的出现将有望为全球的开发者带来更多的便利，并进一步推动人工智能技术的发展。
然而，如此强大的技术也带来了新的挑战。如何确保这种新技术在不受监管的环境下不被滥用，是所有科技公司，甚至是全社会需要面对的问题。同时，如何在保护用户隐私和数据安全的前提下，推动这种新技术的发展，也是一个需要解决的问题。
无论如何，PaLM 2 的出现无疑为人工智能领域带来了新的可能性。我们期待看到，它将如何帮助人类实现全部潜能，如何推动人工智能技术的发展，以及如何影响我们的生活。
2024-5-02
2024-5-02
2024-5-02
2024-5-01
2024-5-01
2024-5-01
2024-4-26
2024-4-25
2024-4-25
2024-4-25