当前位置: 首页 > 其它资源 > 正文
Google PaLM 2 与 OpenAI GPT-4 有何区别,谁更强大?

Google PaLM 2 与 OpenAI GPT-4 有何区别,谁更强大?

作者:大眼仔~旭 日期:2年前 (2023-05-16) 评论:0 条

摘要:谷歌于 2023 年 5 月 10 日在 Google I/O 2023 上推出了下一代 Pathways Language Model (PaLM 2)。其新的大型语言模型 (LLM) 比其前身 (PaLM) 有很多改进,最终可能成为准备迎接其最大的竞争对手 OpenAI 的 GPT-4。 但是谷歌到底做了多少改进呢…

谷歌于 2023 年 5 月 10 日在 Google I/O 2023 上推出了下一代 Pathways Language Model (PaLM 2)。其新的大型语言模型 (LLM) 比其前身 (PaLM) 有很多改进,最终可能成为准备迎接其最大的竞争对手 OpenAI 的 GPT-4。

但是谷歌到底做了多少改进呢? PaLM 2 是否是谷歌希望的差异化制造者,更重要的是,具有如此多的相似功能,PaLM 2 与 OpenAI 的 GPT-4 有何不同

 Google

Google

PaLM 2 与 GPT-4:性能概述

PaLM 2 比其前身具有新的和改进的功能。 PaLM 2 相对于 GPT-4 的独特优势之一是,它的尺寸更小,适用于某些没有那么多板载处理能力的应用程序。

所有这些不同尺寸的动物都有自己的小模型,分别称为壁虎、水獭、野牛和独角兽,壁虎是最小的,其次是水獭、野牛,最后是最大的独角兽。

谷歌还声称 WinoGrande 和 DROP 的推理能力比 GPT-4 有所提高,前者在 ARC-C 中以微弱优势领先。 但是,在 PaLM 和 SOTA 方面,全面有了显着改进。

根据谷歌 91 页的 PaLM 2 研究论文 [PDF],PaLM 2 在数学方面也更好。 然而,谷歌和 OpenAI 构建测试结果的方式使得很难直接比较这两个模型。 谷歌也省略了一些比较,可能是因为 PaLM 2 的表现不如 GPT-4。

在 MMLU 中,GPT-4 得分为 86.4,而 PaLM 2 得分为 81.2。 HellaSwag 也是如此,其中 GPT-4 得分为 95.3,但 PaLM 2 只能达到 86.8,以及 ARC-E,其中 GPT-4 和 PaLM 2 分别获得 96.3 和 89.7。

PaLM 2 系列中最大的型号是 PaLM 2-L。 虽然我们不知道它的确切大小,但我们知道它比最大的 PaLM 模型小得多,但使用了更多的训练计算。 根据谷歌的说法,PaLM 有 5400 亿个参数,因此“明显更小”的 PaLM 2 应该有 10 到 3000 亿个参数。 请记住,这些数字只是基于谷歌在 PaLM 2 论文中所说的假设。

如果这个数字接近 1000 亿或以下,PaLM 2 的参数很可能比 GPT-3.5 小。 考虑到一个可能低于 1000 亿的模型可以与 GPT-4 并驾齐驱,甚至在某些任务上击败它,这令人印象深刻。 GPT-3.5 最初将一切都从水里吹了出来,包括 PaLM,但 PaLM 2 已经完全恢复了。

GPT-4 和 PaLM 2 训练数据的差异

虽然谷歌尚未公布 PaLM 2 训练数据集的大小,但该公司在其研究论文中报告说,新的 LLM 训练数据集要大得多。 OpenAI 在推出 GPT-4 时也采用了相同的方法,未对训练数据集的大小做出任何声明。

 Google PaLM 2

Google PaLM 2

然而,谷歌希望专注于对数学、逻辑、推理和科学的更深入理解,这意味着 PaLM 2 的大部分训练数据都集中在上述主题上。 谷歌在其论文中表示,PaLM 2 的预训练语料库由多个来源组成,包括网络文档、书籍、代码、数学和对话数据,使其得到全面改进,至少与 PaLM 相比是这样。

PaLM 2 的会话技能也应该在另一个层面上,考虑到该模型已经用 100 多种语言进行了训练,以使其具有更好的上下文理解和更好的翻译能力。

至于 GPT-4 的训练数据得到确认,OpenAI 告诉我们,它已经使用公开可用的数据及其许可的数据训练了模型。 GPT-4 的研究页面指出,“数据是一个网络规模的数据集,包括数学问题的正确和错误解决方案、弱推理和强推理、自相矛盾和一致的陈述,并代表各种各样的意识形态和想法。”

当 GPT-4 被问到一个问题时,它可以产生各种各样的回答,但并不是所有的回答都与您的查询相关。 为了使其与用户的意图保持一致,OpenAI 使用强化学习和人类反馈来微调模型的行为。

虽然我们可能不知道这些模型的确切训练数据,但我们知道训练意图非常不同。 我们将不得不拭目以待,看看这种训练意图的差异如何在实际部署中区分这两种模型。

PaLM 2 和 GPT-4 聊天机器人和服务

访问这两个 LLM 的第一个门户是使用他们各自的聊天机器人,PaLM 2 的 Bard 和 GPT-4 的 ChatGPT。 也就是说,GPT-4 在 ChatGPT Plus 的付费墙后面,免费用户只能访问 GPT-3.5。 另一方面,Bard 对所有人免费,并且在 180 个国家/地区可用。

这并不是说您也不能免费访问 GPT-4。 微软的 Bing AI Chat 使用 GPT-4,完全免费,向所有人开放,并且仅次于谷歌在该领域最大的竞争对手必应搜索。

Google I/O 2023 充斥着关于 PaLM 2 和生成式 AI 集成将如何通过 AI 功能改善 Google Workspace 体验的公告,这些 AI 功能将出现在 Google Docs、Sheets、Slides、Gmail 以及这家搜索巨头提供的几乎所有服务中。 此外,谷歌已确认 PaLM 2 已经集成到超过 25 种谷歌产品中,包括 Android 和 YouTube

相比之下,微软已经将 AI 功能引入了 Microsoft Office 程序套件及其许多服务中。 目前,您可以在 AI 大战中正面交锋的两家竞争对手公司的类似产品中体验这两个 LLM。

然而,由于 GPT-4 很早就出现了,并且一直小心避免谷歌在最初的 Bard 上犯下的许多错误,它实际上已经成为第三方开发人员、初创公司以及几乎任何其他想要合并的 LLM。 到目前为止,在他们的服务中有能力的 AI 模型。

这并不是说开发人员不会切换到或至少不会尝试 PaLM 2,但谷歌仍然需要在这方面追赶 OpenAI。 事实上,PaLM 2 是开源的,而不是被锁定在付费 API 后面,这意味着它有可能比 GPT-4 得到更广泛的采用。

PaLM 2 可以抗衡 GPT-4 吗?

PaLM 2 仍然很新,所以它能否与 GPT-4 抗衡还有待回答。 然而,鉴于谷歌所承诺的一切以及它决定使用的激进方式来传播它,看起来 PaLM 2 确实可以与 GPT-4 相媲美。

然而,GPT-4 仍然是一个非常有能力的模型,并且如前所述,在很多比较中都击败了 PaLM 2。 也就是说,PaLM 2 的多个较小型号赋予它无可辩驳的优势。 Gecko 本身非常轻巧,即使在离线状态下也可以在移动设备上工作。 这意味着 PaLM 2 可以支持可能难以使用 GPT-4 的完全不同类别的产品和设备。

人工智能竞赛正在加剧

随着 PaLM2 的推出,AI 主导地位的竞争已经升温,因为这可能是第一个与 GPT-4 对抗的有价值的对手。 随着一种名为“Gemini”的更新的多模态人工智能模型也在训练中,谷歌在这方面没有表现出任何放缓的迹象。

声明:大眼仔旭 | 本文采用署名-非商业性使用-相同方式共享 4.0 国际许可协议[CC BY-NC-SA]进行授权
文章名称:《Google PaLM 2 与 OpenAI GPT-4 有何区别,谁更强大?
文章固定链接:https://www.dayanzai.me/google-palm-2-vs-openai-gpt-4.html
本站资源仅供个人学习交流,请于下载后 24 小时内删除,不允许用于商业用途,否则法律问题自行承担。
转载声明
全部评论: (0条)
^_^ 暂无评论!

发表评论

返回顶部