英伟达（Nvidia）近期发布了名为“Chat with RTX”的本地离线聊天机器人应用程序，成为四大 AI 巨头中第一家推出此类产品的公司。这一创新允许用户在无需连接到云端的情况下，直接在本地使用开放语言模型。然而，尽管其具备独特优势，但 Chat with RTX 也存在一些显著的限制和挑战。

Chat with RTX 的主要亮点在于其离线功能和用户可定制性。相较于依赖云端的解决方案，该聊天机器人为用户提供了更高的数据隐私和安全保障。此外，通过导入自定义文件，Chat with RTX 能够根据用户的需求生成个性化的回答，从而提高了工作效率和准确性。用户可以轻松导入多种文件格式，包括 .txt、PDF、Word 和 XML 文档，甚至 YouTube 视频也能被下载和解析。

在测试过程中，大眼仔发现 Chat with RTX 对于记者或需要分析大量文档集的专业人士来说，具有极高的价值。其处理 YouTube 视频的能力尤为出色，只需输入 URL，即可在文字记录中搜索特定提及或总结整个视频内容。这一功能对于寻找视频播客中的特定信息或跟踪行业动态尤为实用。然而，值得注意的是，在测试过程中我也遇到了一些问题，如视频文字记录的不准确等，这可能是由于早期演示版本的错误所致。

当 Chat with RTX 正常工作时，其响应速度令人印象深刻，几乎可以立即提供所需信息。例如，在我创建了一个关于 FTC 诉 Microsoft 的文档数据集后，聊天机器人迅速总结了 Microsoft 的 Xbox Game Pass 策略，展示了其处理复杂文档的能力。

例如，聊天机器人很好地总结了 Microsoft 的整个 Xbox Game Pass 策略，这些策略来自审判中披露的内部文件：

根据提供的上下文信息，Xbox Game Pass 是游戏中的一项内容订阅服务，只需按月付费即可访问游戏库。它被设想为一个平台，使玩家能够在任何地方玩他们的游戏，并允许发行商接触到任何地方的玩家。该服务由 Project xCloud 和 Xbox Series X 提供支持，旨在为发行商创造通过游戏获利的沃土。游戏 CSA 的主要战略目标是扩大 Xbox Game Pass 的规模，据信全球存在巨大的订户机会，潜在用户数为 7.5 亿。该服务面临三个主要内容动态，包括对差异化内容的需求、扩展到控制台之外以及有限的内容供应。

我还发现这对于扫描 PDF 和事实核查数据很有用。Microsoft 自己的 Copilot 系统在 Word 中不能很好地处理PDF，但 Nvidia 的 Chat with RTX 可以毫无问题地提取所有关键信息。响应也几乎是即时的，没有您在使用基于云的 ChatGPT 或 Copilot 聊天机器人时通常看到的滞后。

Chat with RTX 的一大缺点是，它真的让人感觉像是早期的开发者演示。Chat with RTX 本质上是在您的 PC 上安装 Web 服务器和 Python 实例，然后利用 Mistral 或 Llama 2 模型来查询您提供给它的数据。然后，它在 RTX GPU 上利用 Nvidia 的 Tensor 核心来加快您的查询速度。

Chat with RTX 大约需要 30 分钟才能安装到我的电脑上，该 PC 搭载 Intel Core i9-14900K 处理器和 RTX 4090 GPU。该应用程序的大小接近 40GB，安装后约 100GB，安装过程中还需要额外下载文件。而 Python 实例占用了我系统上可用的 64GB 内存中的大约 3GB 内存。运行后，您可以从浏览器访问 Chat with RTX，同时命令提示符在后台运行，喷出正在处理的内容和任何错误代码。

Nvidia 并没有将其作为所有 RTX 所有者都应该立即下载和安装的精美应用程序提供。存在许多已知问题和限制，包括来源归因并不总是准确的。我最初还尝试让 Chat with RTX 为 25,000 个文档编制索引，但这似乎使应用程序崩溃，我必须清除首选项才能重新开始。

使用 RTX 聊天时也不会记住上下文，因此后续问题不能基于上一个问题的上下文。它还会在您要求它索引的文件夹中创建 JSON 文件，因此我不建议在 Windows 中的整个文档文件夹中使用它。

然而，Chat with RTX 目前仍处于早期开发阶段，因此存在一些明显的不足。首先，其系统要求极高，需要至少 8GB 显存的 RTX 30 系列显卡或更高版本以及 Windows 11 操作系统。这使得许多用户无法充分利用该聊天机器人的功能。其次，虽然其界面和功能在测试中显得有些粗糙，且存在一些已知问题和限制，如来源归因不准确、无法处理大量文档等。这些问题可能会导致用户体验不佳或影响工作效率。

尽管存在这些限制和挑战，但 Chat with RTX 仍然是一个令人兴奋的技术演示。它展示了人工智能聊天机器人在未来本地使用中的巨大潜力，尤其是在处理个人文件和数据隐私方面。随着技术的不断进步和优化，我们有理由相信这类产品将在未来变得更加成熟和实用。对于那些需要处理敏感信息或对数据安全有严格要求的用户来说，Chat with RTX 无疑是一个值得关注的创新产品。

感兴趣或者配置 OK 的用户可以访问 Nvidia 官方下载体验：

https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/