映众显卡助力搭建Chat With RTX本地AI聊天机器人

　　近日NVIDIA首次推出了基于GeForce硬件本地应用的生成式AI，也就是“Chat With RTX”，顾名思义，它是NVIDIA借助RTX加速等技术提供的一种对话机器人。

　　Chat With RTX 促进了用户数据（无论是文档、笔记、视频还是其他形式的内容）与LLMs之间的直接连接，增强了其对上下文的理解和个性化。通过检索增强生成（RAG）、TensorRT-LLM和RTX加速，用户可以与定制的聊天机器人交流，快速获取根据其内容定制的答案。同时，用户可以快速轻松地将桌面端上的资料作为数据集，连接到Mistral或Llama2 这一类开源大型语言模型，以便快速查询与上下文有关的内容。

　　Chat With RTX支持多种文件格式，包括文本文件、PDF、DOC/DOCX和XML，实现了流程的简化。只需在应用程序中指定包含目标文件的文件夹，几秒钟内，应用程序即可将它们加载到库中。

　　Chat With RTX还支持用户输入视频网站YouTube播放列表的URL，使应用程序自动转录视频的内容，以进行查询，进一步丰富了对话体验。相信后续也会进一步支持国内视频网站的使用。

　　此外，对于开发者而言，Chat With RTX是在GitHub上的TensorRT-LLMRAG 开发者参考项目基础上构建的。开发者可以从这个参考项目中获得灵感，打造和部署适用于RTX、基于RAG的应用，并由TensorRT-LLM加速，开启人工智能互动的新时代。

　　当然，强大的功能也需要优秀的硬件支持。要通过本地部署使用ChatWith RTX，用户需要搭载GeForceRTX 30 系列或更高版本的GPU（至少8GB显存），并且操作系统需要在Windows10 或者11，并更新至最新的NVIDIAGPU 驱动。

　　映众GeForce RTX 4080 SUPER超级冰龙基于AD103-400架构，配备10240个CUDA核心,基础频率/加速频率分别为2295MHz/2610MHz，16GB大容量显存，规格,256-bit GDDR6X，供电接口为12VHPWR,显卡的功耗为，320W。

　　映众RTX 4080 SUPER 超级冰龙采用RTX 40系列冰龙的家族式外观设计，黑灰配色沉稳又大气、高端又奢华。搭配侧边超大面积的IML模内注塑工艺RGB灯箱，突出显卡的稳重与时尚配合。

　　散热方面采用最新款第八代冰龙散热器，8根6mm直径热管，搭配纯铜焊接散热底座，快速为核心、显存解热。高规格的用料与细节打磨，都为玩家提供了极具性价比首选的RTX 4080 SUPER产品，卓越品质尽显大将之风。

　　安装教程：

　　网址：https://www.nvidia.cn/ai-on-rtx/chat-with-rtx-generative-ai/

　　安装「Chat with RTX」非常简单，用户只需下载、解压并执行Setup文件即可完成安装，但安装过程可能较长，需要耐心等待。首先解压下载回来的Chat with RTX demo 压缩包。

　　其次在解压出来的文件夹里执行Setup。

　　确认许可证后点击Next即可开始安装。'Perform a clean installation'选项适用于重新安装或升级时，会先清除旧版本内容。 

　　耐心等待安装过程。安装程序在编译AI模型时可能会占用更多系统资源。(此过程可能需要科学上网) 安装完成后桌面创建一个「Chat with RTX demo」的快捷方式。