谷歌于 2023 年 5 月 10 日在 Google I/O 2023 上推出了下一代 Pathways Language Model (PaLM 2)。其新的大型语言模型 (LLM) 比其前身 (PaLM) 有很多改进,最终可能成为准备迎接其最大的竞争对手 OpenAI 的 GPT-4。
但是谷歌到底做了多少改进呢? PaLM 2 是否是谷歌希望的差异化制造者,更重要的是,具有如此多的相似功能,PaLM 2 与 OpenAI 的 GPT-4 有何不同?
PaLM 2 与 GPT-4:性能概述
PaLM 2 比其前身具有新的和改进的功能。 PaLM 2 相对于 GPT-4 的独特优势之一是,它的尺寸更小,适用于某些没有那么多板载处理能力的应用程序。
所有这些不同尺寸的动物都有自己的小模型,分别称为壁虎、水獭、野牛和独角兽,壁虎是最小的,其次是水獭、野牛,最后是最大的独角兽。
谷歌还声称 WinoGrande 和 DROP 的推理能力比 GPT-4 有所提高,前者在 ARC-C 中以微弱优势领先。 但是,在 PaLM 和 SOTA 方面,全面有了显着改进。
根据谷歌 91 页的 PaLM 2 研究论文 [PDF],PaLM 2 在数学方面也更好。 然而,谷歌和 OpenAI 构建测试结果的方式使得很难直接比较这两个模型。 谷歌也省略了一些比较,可能是因为 PaLM 2 的表现不如 GPT-4。
在 MMLU 中,GPT-4 得分为 86.4,而 PaLM 2 得分为 81.2。 HellaSwag 也是如此,其中 GPT-4 得分为 95.3,但 PaLM 2 只能达到 86.8,以及 ARC-E,其中 GPT-4 和 PaLM 2 分别获得 96.3 和 89.7。
PaLM 2 系列中最大的型号是 PaLM 2-L。 虽然我们不知道它的确切大小,但我们知道它比最大的 PaLM 模型小得多,但使用了更多的训练计算。 根据谷歌的说法,PaLM 有 5400 亿个参数,因此“明显更小”的 PaLM 2 应该有 10 到 3000 亿个参数。 请记住,这些数字只是基于谷歌在 PaLM 2 论文中所说的假设。
如果这个数字接近 1000 亿或以下,PaLM 2 的参数很可能比 GPT-3.5 小。 考虑到一个可能低于 1000 亿的模型可以与 GPT-4 并驾齐驱,甚至在某些任务上击败它,这令人印象深刻。 GPT-3.5 最初将一切都从水里吹了出来,包括 PaLM,但 PaLM 2 已经完全恢复了。
GPT-4 和 PaLM 2 训练数据的差异
虽然谷歌尚未公布 PaLM 2 训练数据集的大小,但该公司在其研究论文中报告说,新的 LLM 训练数据集要大得多。 OpenAI 在推出 GPT-4 时也采用了相同的方法,未对训练数据集的大小做出任何声明。
然而,谷歌希望专注于对数学、逻辑、推理和科学的更深入理解,这意味着 PaLM 2 的大部分训练数据都集中在上述主题上。 谷歌在其论文中表示,PaLM 2 的预训练语料库由多个来源组成,包括网络文档、书籍、代码、数学和对话数据,使其得到全面改进,至少与 PaLM 相比是这样。
PaLM 2 的会话技能也应该在另一个层面上,考虑到该模型已经用 100 多种语言进行了训练,以使其具有更好的上下文理解和更好的翻译能力。
至于 GPT-4 的训练数据得到确认,OpenAI 告诉我们,它已经使用公开可用的数据及其许可的数据训练了模型。 GPT-4 的研究页面指出,“数据是一个网络规模的数据集,包括数学问题的正确和错误解决方案、弱推理和强推理、自相矛盾和一致的陈述,并代表各种各样的意识形态和想法。”
当 GPT-4 被问到一个问题时,它可以产生各种各样的回答,但并不是所有的回答都与您的查询相关。 为了使其与用户的意图保持一致,OpenAI 使用强化学习和人类反馈来微调模型的行为。
虽然我们可能不知道这些模型的确切训练数据,但我们知道训练意图非常不同。 我们将不得不拭目以待,看看这种训练意图的差异如何在实际部署中区分这两种模型。
PaLM 2 和 GPT-4 聊天机器人和服务
访问这两个 LLM 的第一个门户是使用他们各自的聊天机器人,PaLM 2 的 Bard 和 GPT-4 的 ChatGPT。 也就是说,GPT-4 在 ChatGPT Plus 的付费墙后面,免费用户只能访问 GPT-3.5。 另一方面,Bard 对所有人免费,并且在 180 个国家/地区可用。
这并不是说您也不能免费访问 GPT-4。 微软的 Bing AI Chat 使用 GPT-4,完全免费,向所有人开放,并且仅次于谷歌在该领域最大的竞争对手必应搜索。
Google I/O 2023 充斥着关于 PaLM 2 和生成式 AI 集成将如何通过 AI 功能改善 Google Workspace 体验的公告,这些 AI 功能将出现在 Google Docs、Sheets、Slides、Gmail 以及这家搜索巨头提供的几乎所有服务中。 此外,谷歌已确认 PaLM 2 已经集成到超过 25 种谷歌产品中,包括 Android 和 YouTube。
相比之下,微软已经将 AI 功能引入了 Microsoft Office 程序套件及其许多服务中。 目前,您可以在 AI 大战中正面交锋的两家竞争对手公司的类似产品中体验这两个 LLM。
然而,由于 GPT-4 很早就出现了,并且一直小心避免谷歌在最初的 Bard 上犯下的许多错误,它实际上已经成为第三方开发人员、初创公司以及几乎任何其他想要合并的 LLM。 到目前为止,在他们的服务中有能力的 AI 模型。
这并不是说开发人员不会切换到或至少不会尝试 PaLM 2,但谷歌仍然需要在这方面追赶 OpenAI。 事实上,PaLM 2 是开源的,而不是被锁定在付费 API 后面,这意味着它有可能比 GPT-4 得到更广泛的采用。
PaLM 2 可以抗衡 GPT-4 吗?
PaLM 2 仍然很新,所以它能否与 GPT-4 抗衡还有待回答。 然而,鉴于谷歌所承诺的一切以及它决定使用的激进方式来传播它,看起来 PaLM 2 确实可以与 GPT-4 相媲美。
然而,GPT-4 仍然是一个非常有能力的模型,并且如前所述,在很多比较中都击败了 PaLM 2。 也就是说,PaLM 2 的多个较小型号赋予它无可辩驳的优势。 Gecko 本身非常轻巧,即使在离线状态下也可以在移动设备上工作。 这意味着 PaLM 2 可以支持可能难以使用 GPT-4 的完全不同类别的产品和设备。
人工智能竞赛正在加剧
随着 PaLM2 的推出,AI 主导地位的竞争已经升温,因为这可能是第一个与 GPT-4 对抗的有价值的对手。 随着一种名为“Gemini”的更新的多模态人工智能模型也在训练中,谷歌在这方面没有表现出任何放缓的迹象。
文章名称:《Google PaLM 2 与 OpenAI GPT-4 有何区别,谁更强大?》
文章固定链接:https://www.dayanzai.me/google-palm-2-vs-openai-gpt-4.html
本站资源仅供个人学习交流,请于下载后 24 小时内删除,不允许用于商业用途,否则法律问题自行承担。
猜你喜欢
- 2024-10-06优秀开源免费笔记软件 CherryTree 1.2.0.0 x64 中文多语免费版
- 2024-11-22安卓视频编辑工具 VivaCut 3.9.2 中文多语免费版
- 2018-09-10专业 Icon 图标设计工具 IcoFX 3.2.1 中文多语免费版
- 2019-08-18安卓 3D 人体模型参考软件 Manga Pose Tool 3D 6.8.105 免费版
- 2024-10-16图像查看器的新标准 BandiView 7.08 Build 27268 中文绿色便携版
相关推荐
- 2020-11-13免费可商用像素字体 Silver 支持简/繁/日/韩/英
- 2020-11-06如何为您的 Inno Setup 安装包左下角增加自定义文本及提示
- 2021-01-21Windows 文件夹颜色更改工具 Folder Painter 1.3 中文免费版
- 2020-07-26Windows 实用工具包 TriSun WinExt Pro 10.0 Build 054 中文多语免费版
- 2022-07-01台式机显卡与笔记本电脑显卡是一样的吗,谁更强?