2016年,塑行NVIDIA創始人兼首席執行官黃仁勛將公司首個高性能超級計算系統DGX-1交到了OpenAI創始人馬斯克和他的業生團隊手中,開啟了NVIDIA與OpenAI的產力合作之路。盡管當時OpenAI還只是推動體分體驗一個名不見經傳的AI初創公司,但NVIDIA已經敏銳地意識到了AI的革命無限潛力,率先伸出了援手。塑行
NVIDIA在人工智能發展歷程中的業生貢獻不容小覷。早在2006年,產力NVIDIA就推出了CUDA單元,推動體分體驗奠定了其在GPU計算領域的革命領先地位。2012年,塑行NVIDIA將深度學習直接嵌入到顯卡中,業生使得深度神經網絡的產力訓練速度得到了極大提升。2018年,推動體分體驗NVIDIA推出了RTX GPU并集成了專為AI加速設計的革命Tensor Core,進一步提升了AI運算的效率和性能。
正是憑借這一系列硬件技術的創新與突破,NVIDIA為AI的發展鋪平了道路。強大的計算力量和優化的硬件架構,使得AI模型的訓練和推理速度得到了數量級的提升,讓研究者和開發者能夠更快、更高效地探索人工智能的邊界。
加速C端布局,讓AI造福每一個人
2024年4月25日,NVIDIA于深圳召開了一場RTX AI品鑒會,該活動中展示了大量AIGC應用相關的技術Demo,PConline受邀參加本次會議,對NVIDIA RTX AI PC進行了體驗。
NVIDIA工作人員詳細介紹了RTX AI當前覆蓋的領域,包括AI繪畫、平面設計、視頻編輯、3D創作、會議直播、文檔助手、應用開發、游戲等。其中,NVIDIA TensorRT 軟件開發者套件在加速AI生成中發揮了重要作用,能夠顯著提升熱門生成式AI模型如Stable Diffusion 1.5和SDXL的推理性能。
在RTX GPU上。將Tensor Core與TensorRT結合后,本地RTX AI PC可獲得效率拉滿的生成式AI性能。UL Procyon AI圖像生成基準測試現已支持TensorRT加速,內部測試表明該基準測試可以比較準確地反映目前的實際性能表現。
RTX AI 品鑒會中,我們深度體驗了基于GeForce RTX 40系列GPU所帶來的各類AI應用:
建筑、室內設計
AI技術在建筑設計領域的應用日益廣泛,大大提高了設計效率。傳統的建筑設計流程需要投入大量時間和人力,從設計草圖到完整的3D建模,往往延長了項目初期階段,影響了整體工程進度。
而現在,借助先進的AI繪畫模型,建筑設計師只需將手繪草圖或概念圖載入系統,就可以快速獲得高質量的建筑3D效果圖。AI模型通過學習和分析大量建筑設計數據,能夠理解草圖中的關鍵元素,并自動生成逼真的三維模型和渲染圖。
配合強大的GeForce RTX 4090 DGPU和內置的Tensor Core,用戶可以在應用的繪畫區實時繪制簡單線條,即可獲得富有創意的建筑設計成圖,速度非常快,支持秒畫秒出,甚至還能應用于室內家裝布局的設計。
人物肖像照生成
在緊急情況下需要提供證件照時,如果手機里沒有合適的照片,Instant ID這款基于Stable Diffusion模型的開源工作流可以派上用場。用戶只需使用手機、電腦攝像頭實時拍攝自己的面部,Instant ID就能快速生成一張高質量影棚級別的肖像照。
Instant ID主要利用了先進的人工智能算法和圖像處理技術,能夠自動優化照片的構圖、光線和背景,生成符合證件照標準的專業級肖像。用戶無需專業攝影設備或攝影技能,只需在家或辦公室即可獲得清晰、美觀的證件照。
聲音克隆
基于開源的GPT-SoVITS項目,我們可以在電腦上輕松克隆自己或朋友的聲音,創造有趣的語音消息或開發個性化語音助手。這些個性化聲音效果不僅可以作為娛樂工具,增添日常生活的趣味,還能在生日祝福或節日問候等特定場景下,提供獨特的個人觸感。
在現場體驗中,利用預制的聲紋模型,我們只需在對話框輸入文字,AI就能生成模擬該聲紋的真實聲音。并在RTX AI的加速下,用戶僅僅五分鐘就能完成高質量的聲音克隆。
AI影視、海報、風格畫創作
在現場,NVIDIA特別邀請了B站著名影視區Up主特效小哥,他展示了一段完全通過Stable Diffusion和Runway AI制作的電影預告片。同時,Morph Studio的產品經理兼上海國際電影節創投評委海辛,也利用AI圖像生成技術,向觀眾展示了一系列風格獨特且富有創意的海報。
同時Morph Studio的產品經理海辛向我們介紹,“我最開始進入到這個行業,就是從有一塊自己的GeForce RTX顯卡開始的。GeForce RTX 40 系顯卡給了我探索 AI 在文字、圖像、影像可能性的機會。”在這些專業人士的巧手應用下,AI技術如虎添翼,展現出更高的效率和智能化水平。
ChatRTX
ChatRTX利用檢索增強生成技術、TensorRT-LLM以及RTX加速,將本地生成式AI功能引入支持RTX的Windows系統。用戶可以快速、輕松地將本地文件作為數據集連接到開放式大語言模型(如智譜AI的ChatGLM3-6B),實現對相關上下文的快速查詢與答案生成。
智譜AI副總裁吳瑋杰表示:"大模型加持的AI PC將帶來生產力范式的革命,讓AI生產力惠及每個人。隨著端側算力和大模型能力的不斷演進,支撐AI PC的大模型解決方案應該是端云一體的混合AI。端側和云側大模型無縫協同,共同為用戶提供'智力'強大、隨時在線、響應極速、安全可信、高度個性化的AI PC應用。我們的大語言模型ChatGLM3-6B支持NVIDIA TensorRT-LLM等加速框架,使模型推理性能顯著提升,讓用戶在AI PC上獲得更加流暢的使用體驗。"
在會上,NVIDIA還聯合火星時代教育及吐司/Tensor.Art,推出了針對AI設計領域的新產品與指南。
火星時代教育發布了《NVIDIA TensorRT Stable Diffusion創作加速指南》,這是一個為AI設計愛好者和創作者提供的實操教程,旨在利用GeForce RTX 40系GPU提高Stable Diffusion的創作效率。該教程涵蓋安裝設置、加速引擎構建、效果對比及NVIDIA TensorRT在商業創作(如海報、電商和室內設計等)中的應用,旨在幫助用戶提升創作效率和實現商業創意。該指南由火星時代教育的AI設計教研團隊主導開發,得到NVIDIA技術團隊的支持,并計劃根據軟件更新持續優化。
火星時代教育創始人王琦表示:“作為NVIDIA Studio在中國的合作伙伴,我們致力于探索AI在設計流程中的應用,并已將NVIDIA Studio的AI技術引入到火星影視學院的教學中。我們的合作強調了科技與教育的結合,旨在激發學習者對科技的熱情,提升個人和商業創作的效率。”
點擊圖片查看《NVIDIA TensorRT Stable Diffusion創作加速指南》
吐司/Tensor.Art則發布了《個人用戶玩轉Stable Diffusion的GPU配置推薦》(點擊查看)。該指南專注于Stable Diffusion的版本SD 1.5和SDXL 1.0,通過第三方UL Procyon AI基準測試,評估了RTX 40系列顯卡和筆記本GPU的性能。特別是在UL Benchmark的SD1.5 TRT對比OpenVINO測試中,GeForce RTX 4090筆記本電腦GPU的性能比Intel iGPU(Arc Graphics)高出27倍。這些測試結果為AI創作者在選擇設備時提供參考,幫助他們提升生產效率。
吐司/Tensor.Art創始人沈振宇指出:“吐司和Tensor.Art平臺已經擁有超過16萬模型。我們的目標是為關注AIGC領域的新用戶及專業用戶提供實用的設備配置建議,以提高他們使用AI生成內容的效率。”
AI+Game,打造未來第九藝術
DLSS 3.5對游戲光影效果的不斷優化
NVIDIA在游戲顯卡領域的不斷深耕,使其在全球范圍內獲得了廣泛關注和大量粉絲。在本次分享會上,NVIDIA展示了其在游戲畫面和AI+游戲方面的最新成果:
NVIDIA DLSS是一項突破性圖形技術,利用AI在GeForce RTX GPU上提高幀率并改善圖像質量。DLSS 3.5光線重建技術通過AI增強光線追蹤表現,樹立全新游戲標準。備受期待的《黑神話:悟空》和《永劫無間》即將支持DLSS 3.5光線重建和全景光線追蹤技術,大幅提升畫質和性能。
現場演示的《心靈殺手2》充分體現了DLSS 3.5光線重建的優勢,游戲中的鏡面反射、光線衍射以及物品之間的光線效應都得到了優化,為玩家帶來更極致的游戲體驗。
NVIDIA RTX Remix讓Modder可以輕松截取游戲素材,使用生成式AI工具自動增強材質,并借助全景光線追蹤和DLSS快速創建令人驚艷的RTX重制版游戲。
NVIDIA Freestyle將通過全新的NVIDIA app Beta版提供,讓用戶可以通過實時后處理濾鏡個性化定制超過1200款游戲的視覺效果,并具有RTX HDR、RTX數字自然飽和度等功能。
現場演示的《永劫無間》展示了最新版NVIDIA App的AI濾鏡功能,根據游戲畫面的明暗關系自動優化效果,在夜間場景中帶來更好的暗部細節和動態范圍,讓玩家更好地觀察畫面的各個角落。
NVIDIA Broadcast應用可將任何房間變成家庭工作室,為直播提供AI增強型語音和視頻工具,包括噪音和回音消除、虛擬背景和AI綠幕、面部追蹤、視頻降噪和目光接觸功能。
NVIDIA ACE為游戲帶來栩栩如生的NPC
ACE技術是一種集成多個AI模塊的框架,旨在提升游戲NPC的交互能力。它允許NPC以自然、動態的方式與玩家交互,核心組件包括:
NVIDIA Riva:這一模塊包括自動語音識別(ASR)功能,能夠接收并處理玩家的語音輸入,將其實時轉換為文本。它還包含神經網絡機器翻譯,將玩家的文本轉化成自然的語言回復,以及文本轉語音功能,將文本回復變為音頻輸出。
大語言模型(LLM):例如Google的Gemma、Meta的Llama 2或Mistral,這些模型負責生成精確、適當的文本回復。
NVIDIA Audio2Face (A2F):負責生成與多種語言對話同步的面部表情和動作,使NPC能夠展示逼真的動態情緒。
在現場的體驗中,Covert Protocol這個由Inworld AI公司與NVIDIA合作開發的全新技術Demo,突破了游戲中角色互動的界限。Inworld AI引擎采用多模態方法展示非玩家角色(NPC),將認知、感知和行為系統集成在一起,在精心制作的環境中呈現令人驚嘆的RTX渲染角色,實現身臨其境的敘事效果。
最新版本的NVIDIA ACE技術Demo已經完全可以實現用戶與游戲NPC的自由對話,不僅可以詢問天氣、游戲通關方法,甚至還可以嘗試賄賂或"威脅"NPC幫助通關。相較于傳統游戲中"一直跳過"對話的情況,這種互動方式在游戲體驗的樂趣上有了質的飛躍,讓玩家更加沉浸在游戲的世界中。
體驗總結
NVIDIA RTX AI 品鑒會展示了 AI 技術在各行各業的廣泛應用和巨大潛力。隨著 NVIDIA 不斷優化 GPU 算力和軟硬件平臺,AI 正在重塑傳統行業的生產力,同時催生出全新的應用場景和商業模式。
從專業領域到個人創作,從工作效率到娛樂體驗,AI 正在深刻影響著我們的生活和工作方式。NVIDIA 與合作伙伴的努力,讓 AI 技術變得更加易用、高效、普惠,為 AIGC 時代提供了堅實的基礎設施。
展望未來,AI 技術的發展將加速數字化轉型的進程,推動智能經濟的崛起。隨著算力、算法、數據的不斷進步,AI 將在更多領域實現突破,創造出難以想象的應用場景。NVIDIA 作為 AI 領域的引領者,必將繼續推動 AI 生態的繁榮發展,讓 AI 成為驅動未來的變革力量。