英伟达(Nvidia)近期发布了名为“Chat with RTX”的本地离线聊天机器人应用程序,成为四大 AI 巨头中第一家推出此类产品的公司。这一创新允许用户在无需连接到云端的情况下,直接在本地使用开放语言模型。然而,尽管其具备独特优势,但 Chat with RTX 也存在一些显著的限制和挑战。
Chat with RTX 的主要亮点在于其离线功能和用户可定制性。相较于依赖云端的解决方案,该聊天机器人为用户提供了更高的数据隐私和安全保障。此外,通过导入自定义文件,Chat with RTX 能够根据用户的需求生成个性化的回答,从而提高了工作效率和准确性。用户可以轻松导入多种文件格式,包括 .txt、PDF、Word 和 XML 文档,甚至 YouTube 视频也能被下载和解析。
在测试过程中,大眼仔发现 Chat with RTX 对于记者或需要分析大量文档集的专业人士来说,具有极高的价值。其处理 YouTube 视频的能力尤为出色,只需输入 URL,即可在文字记录中搜索特定提及或总结整个视频内容。这一功能对于寻找视频播客中的特定信息或跟踪行业动态尤为实用。然而,值得注意的是,在测试过程中我也遇到了一些问题,如视频文字记录的不准确等,这可能是由于早期演示版本的错误所致。
当 Chat with RTX 正常工作时,其响应速度令人印象深刻,几乎可以立即提供所需信息。例如,在我创建了一个关于 FTC 诉 Microsoft 的文档数据集后,聊天机器人迅速总结了 Microsoft 的 Xbox Game Pass 策略,展示了其处理复杂文档的能力。
例如,聊天机器人很好地总结了 Microsoft 的整个 Xbox Game Pass 策略,这些策略来自审判中披露的内部文件:
根据提供的上下文信息,Xbox Game Pass 是游戏中的一项内容订阅服务,只需按月付费即可访问游戏库。它被设想为一个平台,使玩家能够在任何地方玩他们的游戏,并允许发行商接触到任何地方的玩家。该服务由 Project xCloud 和 Xbox Series X 提供支持,旨在为发行商创造通过游戏获利的沃土。游戏 CSA 的主要战略目标是扩大 Xbox Game Pass 的规模,据信全球存在巨大的订户机会,潜在用户数为 7.5 亿。该服务面临三个主要内容动态,包括对差异化内容的需求、扩展到控制台之外以及有限的内容供应。
我还发现这对于扫描 PDF 和事实核查数据很有用。Microsoft 自己的 Copilot 系统在 Word 中不能很好地处理PDF,但 Nvidia 的 Chat with RTX 可以毫无问题地提取所有关键信息。响应也几乎是即时的,没有您在使用基于云的 ChatGPT 或 Copilot 聊天机器人时通常看到的滞后。
Chat with RTX 的一大缺点是,它真的让人感觉像是早期的开发者演示。Chat with RTX 本质上是在您的 PC 上安装 Web 服务器和 Python 实例,然后利用 Mistral 或 Llama 2 模型来查询您提供给它的数据。然后,它在 RTX GPU 上利用 Nvidia 的 Tensor 核心来加快您的查询速度。
Chat with RTX 大约需要 30 分钟才能安装到我的电脑上,该 PC 搭载 Intel Core i9-14900K 处理器和 RTX 4090 GPU。该应用程序的大小接近 40GB,安装后约 100GB,安装过程中还需要额外下载文件。而 Python 实例占用了我系统上可用的 64GB 内存中的大约 3GB 内存。运行后,您可以从浏览器访问 Chat with RTX,同时命令提示符在后台运行,喷出正在处理的内容和任何错误代码。
Nvidia 并没有将其作为所有 RTX 所有者都应该立即下载和安装的精美应用程序提供。存在许多已知问题和限制,包括来源归因并不总是准确的。我最初还尝试让 Chat with RTX 为 25,000 个文档编制索引,但这似乎使应用程序崩溃,我必须清除首选项才能重新开始。
使用 RTX 聊天时也不会记住上下文,因此后续问题不能基于上一个问题的上下文。它还会在您要求它索引的文件夹中创建 JSON 文件,因此我不建议在 Windows 中的整个文档文件夹中使用它。
然而,Chat with RTX 目前仍处于早期开发阶段,因此存在一些明显的不足。首先,其系统要求极高,需要至少 8GB 显存的 RTX 30 系列显卡或更高版本以及 Windows 11 操作系统。这使得许多用户无法充分利用该聊天机器人的功能。其次,虽然其界面和功能在测试中显得有些粗糙,且存在一些已知问题和限制,如来源归因不准确、无法处理大量文档等。这些问题可能会导致用户体验不佳或影响工作效率。
尽管存在这些限制和挑战,但 Chat with RTX 仍然是一个令人兴奋的技术演示。它展示了人工智能聊天机器人在未来本地使用中的巨大潜力,尤其是在处理个人文件和数据隐私方面。随着技术的不断进步和优化,我们有理由相信这类产品将在未来变得更加成熟和实用。对于那些需要处理敏感信息或对数据安全有严格要求的用户来说,Chat with RTX 无疑是一个值得关注的创新产品。
感兴趣或者配置 OK 的用户可以访问 Nvidia 官方下载体验:
https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
文章名称:《Nvidia 发布 Chat with RTX 一款在本地运行的 AI 聊天机器人》
文章固定链接:https://www.dayanzai.me/chat-with-rtx.html
本站资源仅供个人学习交流,请于下载后 24 小时内删除,不允许用于商业用途,否则法律问题自行承担。
猜你喜欢
- 2018-05-17动态几何教学软件 Autograph 4.0.12.0 中文汉化版
- 2023-04-14什么是企业浏览器以及它们如何提高您的安全性?
- 2018-08-26H.264 编码视频压缩工具 H.264 Encoder 绿色汉化中文版
- 2016-03-21Kingsoft WPS Office Pro 2016 v10.8.0.5391 专业增强版
- 2022-06-08闭源 ARM 与开源 RISC-V 真的会是更好的选择吗?
相关推荐
- 2024-06-22什么是游戏键盘,它们值得购买吗?
- 2024-05-13开源密码生成器 Advanced PassGen 2.5.1 x64 中文多语免费版
- 2015-08-27微软出品的免费数学软件 Microsoft Mathematics 4.0.0325 中文免费版
- 2024-09-02磁盘镜像工具 R-Tools R-Drive Image 7.2 Build 7205 中文多语免费版
- 2021-09-19Robocopy:强大的 Windows 安全备份工具及使用教程
- 大眼仔居然还在更新哈哈,我上大学用你的软件,现在都上班第四年了