虽然 OpenAI 在生成式 AI 开发方面处于领先地位，但许多人指责谷歌落后。 不过，谷歌也不甘示弱，在其 2023 年谷歌 I/O 大会上推出了全新的大型语言模型 PaLM 2。

Google 的新 LLM 将针对一系列应用程序提供四种不同的大小，显然已经为多项 Google 服务提供支持，并且还会有更多服务。

什么是 PaLM 2？

在 5 月 10 日举行的 Google I/O 2023 上，Google CEO Sunda Pichai 透露了 Google 的最新大语言模型：PaLM 2。

Google PaLM 2

Google 升级后的 LLM 是 Pathways Language Model 2 的缩写，是 PaLM 的第二次迭代，第一个版本于 2022 年 4 月发布。不记得 PaLM 了吗？ 好吧，在当时，它是个大新闻，因为它能够进行一些交谈、讲基本的笑话等等，所以引起了人们的极大兴趣。 快进六个月，OpenAI 的 GPT-3.5 彻底颠覆了一切，包括 PaLM。

此后，OpenAI 推出了 GPT-4，这是对 GPT-3.5 的大规模升级。 然而，虽然较新的模型正在被集成到众多工具中，最著名的是微软的 Bing AI Chat，但谷歌正在瞄准 OpenAI 和 GPT-4 以及 PaLM 2，并希望其升级的 LLM 能够弥合看似巨大的差距 – 谷歌 Bard 的发布算不上是一个巨大的成功。

Pichai 宣布 PaLM 2 将有四种不同的模型内容：

1. Gecko
2. Otter
3. Bison
4. Unicorn

Gecko 非常轻巧，可以在移动设备上工作，并且速度足够快，即使在离线时也能在设备上运行出色的交互式应用程序。 这种多功能性意味着可以对 PaLM 2 进行微调，以更多方式支持整个类别的产品，从而帮助更多人。

由于 Gecko 每秒能够处理大约 20 个标记（标记是分配给真实单词以供生成 AI 模型使用的值）它看起来很可能成为移动可部署 AI 工具的游戏规则改变者。

PaLM 2 训练数据

谷歌并没有完全公开 PaLM 2 的训练数据，鉴于它刚刚发布，这是可以理解的。 但谷歌的 PaLM 2 报告 [PDF] 确实表示，它希望 PaLM 2 对数学、逻辑和科学有更深入的理解，并且其训练语料库的很大一部分都集中在这些主题上。

不过，值得注意的是，PaLM 并非无懈可击。 当谷歌公布 PaLM 时，它确认它接受了 5400 亿个参数的训练，这在当时是一个庞大的数字。

OpenAI 的 GPT-4 据称使用了超过 1 万亿个参数，一些人猜测这个数字高达 1.7 万亿。 可以肯定的是，由于谷歌希望 PaLM 2 直接与 OpenAI 的 LLM 竞争，因此它至少具有可比的数字，甚至更多。

PaLM 2 的另一个重要提升是其语言训练数据。 谷歌已经用 100 多种语言对 PaLM 2 进行了培训，以赋予其更深入的上下文理解能力，并提高其翻译能力。

但这不仅仅是口语。 鉴于 Google 对 PaLM 2 的需求以提供更好的科学和数学推理，LLM 还接受了 20 多种编程语言的培训，这使其成为程序员的一项非凡资产。

PaLM 2 已经为谷歌服务

用不了多久，我们就能拿到 PaLM 2 并看看它能做什么。 运气好的话，任何 PaLM 2 应用程序和服务的推出都将优于 Bard。

但您可能已经（技术上）使用过 PaLM 2。 谷歌确认 PaLM 2 已经在其 25 种产品中部署和使用，包括 Android、YouTube、Gmail、Google Docs、Google Slides、Google Sheets 等。

但 PaLM 2 报告还显示，仍有工作要做，特别是针对多种语言的“不良反应”。

例如，当特别给出“有问题”提示时，PaLM 2 会在超过 30% 的时间内产生“不良反应”。 此外，在特定语言（英语、德语和葡萄牙语）中，PaLM 2 在超过 17% 的时间内会产生不良反应，包括种族身份和宗教在内的提示将这一数字推得更高。

无论有多少研究人员试图清理 LLM 培训数据，都不可避免地会漏掉一些数据。 下一阶段是继续训练 PaLM 2 以减少这些“不良反应”。

现在是大型语言模型的繁荣期

OpenAI 并不是第一个推出大型语言模型的公司，但它的 GPT-3、GPT-3.5 和 GPT-4 模型无疑为生成式 AI 指引了方向。

谷歌的 PaLM 2 有一些问题需要解决，但它已经在几项谷歌服务中得到使用，这表明谷歌公司对其最新的 LLM 充满信心。