2016年,NVIDIA创始人兼首席执行官黄仁勋将公司首个高性能超级计算系统DGX-1交到了OpenAI创始人马斯克和他的团队手中,开启了NVIDIA与OpenAI的合作之路。尽管当时OpenAI还只是一个名不见经传的AI初创公司,但NVIDIA已经敏锐地意识到了AI的无限潜力,率先伸出了援手。
NVIDIA在人工智能发展历程中的贡献不容小觑。早在2006年,NVIDIA就推出了CUDA单元,奠定了其在GPU计算领域的领先地位。2012年,NVIDIA将深度学习直接嵌入到显卡中,使得深度神经网络的训练速度得到了极大提升。2018年,NVIDIA推出了RTX GPU并集成了专为AI加速设计的Tensor Core,进一步提升了AI运算的效率和性能。
正是凭借这一系列硬件技术的创新与突破,NVIDIA为AI的发展铺平了道路。强大的计算力量和优化的硬件架构,使得AI模型的训练和推理速度得到了数量级的提升,让研究者和开发者能够更快、更高效地探索人工智能的边界。
加速C端布局,让AI造福每一个人
2024年4月25日,NVIDIA于深圳召开了一场RTX AI品鉴会,该活动中展示了大量AIGC应用相关的技术Demo,PConline受邀参加本次会议,对NVIDIA RTX AI PC进行了体验。
NVIDIA工作人员详细介绍了RTX AI当前覆盖的领域,包括AI绘画、平面设计、视频编辑、3D创作、会议直播、文档助手、应用开发、游戏等。其中,NVIDIA TensorRT 软件开发者套件在加速AI生成中发挥了重要作用,能够显著提升热门生成式AI模型如Stable Diffusion 1.5和SDXL的推理性能。
在RTX GPU上。将Tensor Core与TensorRT结合后,本地RTX AI PC可获得效率拉满的生成式AI性能。UL Procyon AI图像生成基准测试现已支持TensorRT加速,内部测试表明该基准测试可以比较准确地反映目前的实际性能表现。
RTX AI 品鉴会中,我们深度体验了基于GeForce RTX 40系列GPU所带来的各类AI应用:
建筑、室内设计
AI技术在建筑设计领域的应用日益广泛,大大提高了设计效率。传统的建筑设计流程需要投入大量时间和人力,从设计草图到完整的3D建模,往往延长了项目初期阶段,影响了整体工程进度。
而现在,借助先进的AI绘画模型,建筑设计师只需将手绘草图或概念图载入系统,就可以快速获得高质量的建筑3D效果图。AI模型通过学习和分析大量建筑设计数据,能够理解草图中的关键元素,并自动生成逼真的三维模型和渲染图。
配合强大的GeForce RTX 4090 DGPU和内置的Tensor Core,用户可以在应用的绘画区实时绘制简单线条,即可获得富有创意的建筑设计成图,速度非常快,支持秒画秒出,甚至还能应用于室内家装布局的设计。
人物肖像照生成
在紧急情况下需要提供证件照时,如果手机里没有合适的照片,Instant ID这款基于Stable Diffusion模型的开源工作流可以派上用场。用户只需使用手机、电脑摄像头实时拍摄自己的面部,Instant ID就能快速生成一张高质量影棚级别的肖像照。
Instant ID主要利用了先进的人工智能算法和图像处理技术,能够自动优化照片的构图、光线和背景,生成符合证件照标准的专业级肖像。用户无需专业摄影设备或摄影技能,只需在家或办公室即可获得清晰、美观的证件照。
声音克隆
基于开源的GPT-SoVITS项目,我们可以在电脑上轻松克隆自己或朋友的声音,创造有趣的语音消息或开发个性化语音助手。这些个性化声音效果不仅可以作为娱乐工具,增添日常生活的趣味,还能在生日祝福或节日问候等特定场景下,提供独特的个人触感。
在现场体验中,利用预制的声纹模型,我们只需在对话框输入文字,AI就能生成模拟该声纹的真实声音。并在RTX AI的加速下,用户仅仅五分钟就能完成高质量的声音克隆。
AI影视、海报、风格画创作
在现场,NVIDIA特别邀请了B站著名影视区Up主特效小哥,他展示了一段完全通过Stable Diffusion和Runway AI制作的电影预告片。同时,Morph Studio的产品经理兼上海国际电影节创投评委海辛,也利用AI图像生成技术,向观众展示了一系列风格独特且富有创意的海报。
同时Morph Studio的产品经理海辛向我们介绍,“我最开始进入到这个行业,就是从有一块自己的GeForce RTX显卡开始的。GeForce RTX 40 系显卡给了我探索 AI 在文字、图像、影像可能性的机会。”在这些专业人士的巧手应用下,AI技术如虎添翼,展现出更高的效率和智能化水平。
ChatRTX
ChatRTX利用检索增强生成技术、TensorRT-LLM以及RTX加速,将本地生成式AI功能引入支持RTX的Windows系统。用户可以快速、轻松地将本地文件作为数据集连接到开放式大语言模型(如智谱AI的ChatGLM3-6B),实现对相关上下文的快速查询与答案生成。
智谱AI副总裁吴玮杰表示:"大模型加持的AI PC将带来生产力范式的革命,让AI生产力惠及每个人。随着端侧算力和大模型能力的不断演进,支撑AI PC的大模型解决方案应该是端云一体的混合AI。端侧和云侧大模型无缝协同,共同为用户提供'智力'强大、随时在线、响应极速、安全可信、高度个性化的AI PC应用。我们的大语言模型ChatGLM3-6B支持NVIDIA TensorRT-LLM等加速框架,使模型推理性能显著提升,让用户在AI PC上获得更加流畅的使用体验。"
在会上,NVIDIA还联合火星时代教育及吐司/Tensor.Art,推出了针对AI设计领域的新产品与指南。
火星时代教育发布了《NVIDIA TensorRT Stable Diffusion创作加速指南》,这是一个为AI设计爱好者和创作者提供的实操教程,旨在利用GeForce RTX 40系GPU提高Stable Diffusion的创作效率。该教程涵盖安装设置、加速引擎构建、效果对比及NVIDIA TensorRT在商业创作(如海报、电商和室内设计等)中的应用,旨在帮助用户提升创作效率和实现商业创意。该指南由火星时代教育的AI设计教研团队主导开发,得到NVIDIA技术团队的支持,并计划根据软件更新持续优化。
火星时代教育创始人王琦表示:“作为NVIDIA Studio在中国的合作伙伴,我们致力于探索AI在设计流程中的应用,并已将NVIDIA Studio的AI技术引入到火星影视学院的教学中。我们的合作强调了科技与教育的结合,旨在激发学习者对科技的热情,提升个人和商业创作的效率。”
点击图片查看《NVIDIA TensorRT Stable Diffusion创作加速指南》
吐司/Tensor.Art则发布了《个人用户玩转Stable Diffusion的GPU配置推荐》(点击查看)。该指南专注于Stable Diffusion的版本SD 1.5和SDXL 1.0,通过第三方UL Procyon AI基准测试,评估了RTX 40系列显卡和笔记本GPU的性能。特别是在UL Benchmark的SD1.5 TRT对比OpenVINO测试中,GeForce RTX 4090笔记本电脑GPU的性能比Intel iGPU(Arc Graphics)高出27倍。这些测试结果为AI创作者在选择设备时提供参考,帮助他们提升生产效率。
吐司/Tensor.Art创始人沈振宇指出:“吐司和Tensor.Art平台已经拥有超过16万模型。我们的目标是为关注AIGC领域的新用户及专业用户提供实用的设备配置建议,以提高他们使用AI生成内容的效率。”
AI+Game,打造未来第九艺术
DLSS 3.5对游戏光影效果的不断优化
NVIDIA在游戏显卡领域的不断深耕,使其在全球范围内获得了广泛关注和大量粉丝。在本次分享会上,NVIDIA展示了其在游戏画面和AI+游戏方面的最新成果:
NVIDIA DLSS是一项突破性图形技术,利用AI在GeForce RTX GPU上提高帧率并改善图像质量。DLSS 3.5光线重建技术通过AI增强光线追踪表现,树立全新游戏标准。备受期待的《黑神话:悟空》和《永劫无间》即将支持DLSS 3.5光线重建和全景光线追踪技术,大幅提升画质和性能。
现场演示的《心灵杀手2》充分体现了DLSS 3.5光线重建的优势,游戏中的镜面反射、光线衍射以及物品之间的光线效应都得到了优化,为玩家带来更极致的游戏体验。
NVIDIA RTX Remix让Modder可以轻松截取游戏素材,使用生成式AI工具自动增强材质,并借助全景光线追踪和DLSS快速创建令人惊艳的RTX重制版游戏。
NVIDIA Freestyle将通过全新的NVIDIA app Beta版提供,让用户可以通过实时后处理滤镜个性化定制超过1200款游戏的视觉效果,并具有RTX HDR、RTX数字自然饱和度等功能。
现场演示的《永劫无间》展示了最新版NVIDIA App的AI滤镜功能,根据游戏画面的明暗关系自动优化效果,在夜间场景中带来更好的暗部细节和动态范围,让玩家更好地观察画面的各个角落。
NVIDIA Broadcast应用可将任何房间变成家庭工作室,为直播提供AI增强型语音和视频工具,包括噪音和回音消除、虚拟背景和AI绿幕、面部追踪、视频降噪和目光接触功能。
NVIDIA ACE为游戏带来栩栩如生的NPC
ACE技术是一种集成多个AI模块的框架,旨在提升游戏NPC的交互能力。它允许NPC以自然、动态的方式与玩家交互,核心组件包括:
NVIDIA Riva:这一模块包括自动语音识别(ASR)功能,能够接收并处理玩家的语音输入,将其实时转换为文本。它还包含神经网络机器翻译,将玩家的文本转化成自然的语言回复,以及文本转语音功能,将文本回复变为音频输出。
大语言模型(LLM):例如Google的Gemma、Meta的Llama 2或Mistral,这些模型负责生成精确、适当的文本回复。
NVIDIA Audio2Face (A2F):负责生成与多种语言对话同步的面部表情和动作,使NPC能够展示逼真的动态情绪。
在现场的体验中,Covert Protocol这个由Inworld AI公司与NVIDIA合作开发的全新技术Demo,突破了游戏中角色互动的界限。Inworld AI引擎采用多模态方法展示非玩家角色(NPC),将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的RTX渲染角色,实现身临其境的叙事效果。
最新版本的NVIDIA ACE技术Demo已经完全可以实现用户与游戏NPC的自由对话,不仅可以询问天气、游戏通关方法,甚至还可以尝试贿赂或"威胁"NPC帮助通关。相较于传统游戏中"一直跳过"对话的情况,这种互动方式在游戏体验的乐趣上有了质的飞跃,让玩家更加沉浸在游戏的世界中。
体验总结
NVIDIA RTX AI 品鉴会展示了 AI 技术在各行各业的广泛应用和巨大潜力。随着 NVIDIA 不断优化 GPU 算力和软硬件平台,AI 正在重塑传统行业的生产力,同时催生出全新的应用场景和商业模式。
从专业领域到个人创作,从工作效率到娱乐体验,AI 正在深刻影响着我们的生活和工作方式。NVIDIA 与合作伙伴的努力,让 AI 技术变得更加易用、高效、普惠,为 AIGC 时代提供了坚实的基础设施。
展望未来,AI 技术的发展将加速数字化转型的进程,推动智能经济的崛起。随着算力、算法、数据的不断进步,AI 将在更多领域实现突破,创造出难以想象的应用场景。NVIDIA 作为 AI 领域的引领者,必将继续推动 AI 生态的繁荣发展,让 AI 成为驱动未来的变革力量。
网友评论