2016年,塑行NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛將公司首個(gè)高性能超級(jí)計(jì)算系統(tǒng)DGX-1交到了OpenAI創(chuàng)始人馬斯克和他的業(yè)生團(tuán)隊(duì)手中,開啟了NVIDIA與OpenAI的產(chǎn)力合作之路。盡管當(dāng)時(shí)OpenAI還只是推動(dòng)體分體驗(yàn)一個(gè)名不見經(jīng)傳的AI初創(chuàng)公司,但NVIDIA已經(jīng)敏銳地意識(shí)到了AI的革命無(wú)限潛力,率先伸出了援手。塑行
NVIDIA在人工智能發(fā)展歷程中的業(yè)生貢獻(xiàn)不容小覷。早在2006年,產(chǎn)力NVIDIA就推出了CUDA單元,推動(dòng)體分體驗(yàn)奠定了其在GPU計(jì)算領(lǐng)域的革命領(lǐng)先地位。2012年,塑行NVIDIA將深度學(xué)習(xí)直接嵌入到顯卡中,業(yè)生使得深度神經(jīng)網(wǎng)絡(luò)的產(chǎn)力訓(xùn)練速度得到了極大提升。2018年,推動(dòng)體分體驗(yàn)NVIDIA推出了RTX GPU并集成了專為AI加速設(shè)計(jì)的革命Tensor Core,進(jìn)一步提升了AI運(yùn)算的效率和性能。
正是憑借這一系列硬件技術(shù)的創(chuàng)新與突破,NVIDIA為AI的發(fā)展鋪平了道路。強(qiáng)大的計(jì)算力量和優(yōu)化的硬件架構(gòu),使得AI模型的訓(xùn)練和推理速度得到了數(shù)量級(jí)的提升,讓研究者和開發(fā)者能夠更快、更高效地探索人工智能的邊界。
加速C端布局,讓AI造福每一個(gè)人
2024年4月25日,NVIDIA于深圳召開了一場(chǎng)RTX AI品鑒會(huì),該活動(dòng)中展示了大量AIGC應(yīng)用相關(guān)的技術(shù)Demo,PConline受邀參加本次會(huì)議,對(duì)NVIDIA RTX AI PC進(jìn)行了體驗(yàn)。
NVIDIA工作人員詳細(xì)介紹了RTX AI當(dāng)前覆蓋的領(lǐng)域,包括AI繪畫、平面設(shè)計(jì)、視頻編輯、3D創(chuàng)作、會(huì)議直播、文檔助手、應(yīng)用開發(fā)、游戲等。其中,NVIDIA TensorRT 軟件開發(fā)者套件在加速AI生成中發(fā)揮了重要作用,能夠顯著提升熱門生成式AI模型如Stable Diffusion 1.5和SDXL的推理性能。
在RTX GPU上。將Tensor Core與TensorRT結(jié)合后,本地RTX AI PC可獲得效率拉滿的生成式AI性能。UL Procyon AI圖像生成基準(zhǔn)測(cè)試現(xiàn)已支持TensorRT加速,內(nèi)部測(cè)試表明該基準(zhǔn)測(cè)試可以比較準(zhǔn)確地反映目前的實(shí)際性能表現(xiàn)。
RTX AI 品鑒會(huì)中,我們深度體驗(yàn)了基于GeForce RTX 40系列GPU所帶來(lái)的各類AI應(yīng)用:
建筑、室內(nèi)設(shè)計(jì)
AI技術(shù)在建筑設(shè)計(jì)領(lǐng)域的應(yīng)用日益廣泛,大大提高了設(shè)計(jì)效率。傳統(tǒng)的建筑設(shè)計(jì)流程需要投入大量時(shí)間和人力,從設(shè)計(jì)草圖到完整的3D建模,往往延長(zhǎng)了項(xiàng)目初期階段,影響了整體工程進(jìn)度。
而現(xiàn)在,借助先進(jìn)的AI繪畫模型,建筑設(shè)計(jì)師只需將手繪草圖或概念圖載入系統(tǒng),就可以快速獲得高質(zhì)量的建筑3D效果圖。AI模型通過學(xué)習(xí)和分析大量建筑設(shè)計(jì)數(shù)據(jù),能夠理解草圖中的關(guān)鍵元素,并自動(dòng)生成逼真的三維模型和渲染圖。
配合強(qiáng)大的GeForce RTX 4090 DGPU和內(nèi)置的Tensor Core,用戶可以在應(yīng)用的繪畫區(qū)實(shí)時(shí)繪制簡(jiǎn)單線條,即可獲得富有創(chuàng)意的建筑設(shè)計(jì)成圖,速度非常快,支持秒畫秒出,甚至還能應(yīng)用于室內(nèi)家裝布局的設(shè)計(jì)。
人物肖像照生成
在緊急情況下需要提供證件照時(shí),如果手機(jī)里沒有合適的照片,Instant ID這款基于Stable Diffusion模型的開源工作流可以派上用場(chǎng)。用戶只需使用手機(jī)、電腦攝像頭實(shí)時(shí)拍攝自己的面部,Instant ID就能快速生成一張高質(zhì)量影棚級(jí)別的肖像照。
Instant ID主要利用了先進(jìn)的人工智能算法和圖像處理技術(shù),能夠自動(dòng)優(yōu)化照片的構(gòu)圖、光線和背景,生成符合證件照標(biāo)準(zhǔn)的專業(yè)級(jí)肖像。用戶無(wú)需專業(yè)攝影設(shè)備或攝影技能,只需在家或辦公室即可獲得清晰、美觀的證件照。
聲音克隆
基于開源的GPT-SoVITS項(xiàng)目,我們可以在電腦上輕松克隆自己或朋友的聲音,創(chuàng)造有趣的語(yǔ)音消息或開發(fā)個(gè)性化語(yǔ)音助手。這些個(gè)性化聲音效果不僅可以作為娛樂工具,增添日常生活的趣味,還能在生日祝福或節(jié)日問候等特定場(chǎng)景下,提供獨(dú)特的個(gè)人觸感。
在現(xiàn)場(chǎng)體驗(yàn)中,利用預(yù)制的聲紋模型,我們只需在對(duì)話框輸入文字,AI就能生成模擬該聲紋的真實(shí)聲音。并在RTX AI的加速下,用戶僅僅五分鐘就能完成高質(zhì)量的聲音克隆。
AI影視、海報(bào)、風(fēng)格畫創(chuàng)作
在現(xiàn)場(chǎng),NVIDIA特別邀請(qǐng)了B站著名影視區(qū)Up主特效小哥,他展示了一段完全通過Stable Diffusion和Runway AI制作的電影預(yù)告片。同時(shí),Morph Studio的產(chǎn)品經(jīng)理兼上海國(guó)際電影節(jié)創(chuàng)投評(píng)委海辛,也利用AI圖像生成技術(shù),向觀眾展示了一系列風(fēng)格獨(dú)特且富有創(chuàng)意的海報(bào)。
同時(shí)Morph Studio的產(chǎn)品經(jīng)理海辛向我們介紹,“我最開始進(jìn)入到這個(gè)行業(yè),就是從有一塊自己的GeForce RTX顯卡開始的。GeForce RTX 40 系顯卡給了我探索 AI 在文字、圖像、影像可能性的機(jī)會(huì)。”在這些專業(yè)人士的巧手應(yīng)用下,AI技術(shù)如虎添翼,展現(xiàn)出更高的效率和智能化水平。
ChatRTX
ChatRTX利用檢索增強(qiáng)生成技術(shù)、TensorRT-LLM以及RTX加速,將本地生成式AI功能引入支持RTX的Windows系統(tǒng)。用戶可以快速、輕松地將本地文件作為數(shù)據(jù)集連接到開放式大語(yǔ)言模型(如智譜AI的ChatGLM3-6B),實(shí)現(xiàn)對(duì)相關(guān)上下文的快速查詢與答案生成。
智譜AI副總裁吳瑋杰表示:"大模型加持的AI PC將帶來(lái)生產(chǎn)力范式的革命,讓AI生產(chǎn)力惠及每個(gè)人。隨著端側(cè)算力和大模型能力的不斷演進(jìn),支撐AI PC的大模型解決方案應(yīng)該是端云一體的混合AI。端側(cè)和云側(cè)大模型無(wú)縫協(xié)同,共同為用戶提供'智力'強(qiáng)大、隨時(shí)在線、響應(yīng)極速、安全可信、高度個(gè)性化的AI PC應(yīng)用。我們的大語(yǔ)言模型ChatGLM3-6B支持NVIDIA TensorRT-LLM等加速框架,使模型推理性能顯著提升,讓用戶在AI PC上獲得更加流暢的使用體驗(yàn)。"
在會(huì)上,NVIDIA還聯(lián)合火星時(shí)代教育及吐司/Tensor.Art,推出了針對(duì)AI設(shè)計(jì)領(lǐng)域的新產(chǎn)品與指南。
火星時(shí)代教育發(fā)布了《NVIDIA TensorRT Stable Diffusion創(chuàng)作加速指南》,這是一個(gè)為AI設(shè)計(jì)愛好者和創(chuàng)作者提供的實(shí)操教程,旨在利用GeForce RTX 40系GPU提高Stable Diffusion的創(chuàng)作效率。該教程涵蓋安裝設(shè)置、加速引擎構(gòu)建、效果對(duì)比及NVIDIA TensorRT在商業(yè)創(chuàng)作(如海報(bào)、電商和室內(nèi)設(shè)計(jì)等)中的應(yīng)用,旨在幫助用戶提升創(chuàng)作效率和實(shí)現(xiàn)商業(yè)創(chuàng)意。該指南由火星時(shí)代教育的AI設(shè)計(jì)教研團(tuán)隊(duì)主導(dǎo)開發(fā),得到NVIDIA技術(shù)團(tuán)隊(duì)的支持,并計(jì)劃根據(jù)軟件更新持續(xù)優(yōu)化。
火星時(shí)代教育創(chuàng)始人王琦表示:“作為NVIDIA Studio在中國(guó)的合作伙伴,我們致力于探索AI在設(shè)計(jì)流程中的應(yīng)用,并已將NVIDIA Studio的AI技術(shù)引入到火星影視學(xué)院的教學(xué)中。我們的合作強(qiáng)調(diào)了科技與教育的結(jié)合,旨在激發(fā)學(xué)習(xí)者對(duì)科技的熱情,提升個(gè)人和商業(yè)創(chuàng)作的效率。”
點(diǎn)擊圖片查看《NVIDIA TensorRT Stable Diffusion創(chuàng)作加速指南》
吐司/Tensor.Art則發(fā)布了《個(gè)人用戶玩轉(zhuǎn)Stable Diffusion的GPU配置推薦》(點(diǎn)擊查看)。該指南專注于Stable Diffusion的版本SD 1.5和SDXL 1.0,通過第三方UL Procyon AI基準(zhǔn)測(cè)試,評(píng)估了RTX 40系列顯卡和筆記本GPU的性能。特別是在UL Benchmark的SD1.5 TRT對(duì)比OpenVINO測(cè)試中,GeForce RTX 4090筆記本電腦GPU的性能比Intel iGPU(Arc Graphics)高出27倍。這些測(cè)試結(jié)果為AI創(chuàng)作者在選擇設(shè)備時(shí)提供參考,幫助他們提升生產(chǎn)效率。
吐司/Tensor.Art創(chuàng)始人沈振宇指出:“吐司和Tensor.Art平臺(tái)已經(jīng)擁有超過16萬(wàn)模型。我們的目標(biāo)是為關(guān)注AIGC領(lǐng)域的新用戶及專業(yè)用戶提供實(shí)用的設(shè)備配置建議,以提高他們使用AI生成內(nèi)容的效率。”
AI+Game,打造未來(lái)第九藝術(shù)
DLSS 3.5對(duì)游戲光影效果的不斷優(yōu)化
NVIDIA在游戲顯卡領(lǐng)域的不斷深耕,使其在全球范圍內(nèi)獲得了廣泛關(guān)注和大量粉絲。在本次分享會(huì)上,NVIDIA展示了其在游戲畫面和AI+游戲方面的最新成果:
NVIDIA DLSS是一項(xiàng)突破性圖形技術(shù),利用AI在GeForce RTX GPU上提高幀率并改善圖像質(zhì)量。DLSS 3.5光線重建技術(shù)通過AI增強(qiáng)光線追蹤表現(xiàn),樹立全新游戲標(biāo)準(zhǔn)。備受期待的《黑神話:悟空》和《永劫無(wú)間》即將支持DLSS 3.5光線重建和全景光線追蹤技術(shù),大幅提升畫質(zhì)和性能。
現(xiàn)場(chǎng)演示的《心靈殺手2》充分體現(xiàn)了DLSS 3.5光線重建的優(yōu)勢(shì),游戲中的鏡面反射、光線衍射以及物品之間的光線效應(yīng)都得到了優(yōu)化,為玩家?guī)?lái)更極致的游戲體驗(yàn)。
NVIDIA RTX Remix讓Modder可以輕松截取游戲素材,使用生成式AI工具自動(dòng)增強(qiáng)材質(zhì),并借助全景光線追蹤和DLSS快速創(chuàng)建令人驚艷的RTX重制版游戲。
NVIDIA Freestyle將通過全新的NVIDIA app Beta版提供,讓用戶可以通過實(shí)時(shí)后處理濾鏡個(gè)性化定制超過1200款游戲的視覺效果,并具有RTX HDR、RTX數(shù)字自然飽和度等功能。
現(xiàn)場(chǎng)演示的《永劫無(wú)間》展示了最新版NVIDIA App的AI濾鏡功能,根據(jù)游戲畫面的明暗關(guān)系自動(dòng)優(yōu)化效果,在夜間場(chǎng)景中帶來(lái)更好的暗部細(xì)節(jié)和動(dòng)態(tài)范圍,讓玩家更好地觀察畫面的各個(gè)角落。
NVIDIA Broadcast應(yīng)用可將任何房間變成家庭工作室,為直播提供AI增強(qiáng)型語(yǔ)音和視頻工具,包括噪音和回音消除、虛擬背景和AI綠幕、面部追蹤、視頻降噪和目光接觸功能。
NVIDIA ACE為游戲帶來(lái)栩栩如生的NPC
ACE技術(shù)是一種集成多個(gè)AI模塊的框架,旨在提升游戲NPC的交互能力。它允許NPC以自然、動(dòng)態(tài)的方式與玩家交互,核心組件包括:
NVIDIA Riva:這一模塊包括自動(dòng)語(yǔ)音識(shí)別(ASR)功能,能夠接收并處理玩家的語(yǔ)音輸入,將其實(shí)時(shí)轉(zhuǎn)換為文本。它還包含神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯,將玩家的文本轉(zhuǎn)化成自然的語(yǔ)言回復(fù),以及文本轉(zhuǎn)語(yǔ)音功能,將文本回復(fù)變?yōu)橐纛l輸出。
大語(yǔ)言模型(LLM):例如Google的Gemma、Meta的Llama 2或Mistral,這些模型負(fù)責(zé)生成精確、適當(dāng)?shù)奈谋净貜?fù)。
NVIDIA Audio2Face (A2F):負(fù)責(zé)生成與多種語(yǔ)言對(duì)話同步的面部表情和動(dòng)作,使NPC能夠展示逼真的動(dòng)態(tài)情緒。
在現(xiàn)場(chǎng)的體驗(yàn)中,Covert Protocol這個(gè)由Inworld AI公司與NVIDIA合作開發(fā)的全新技術(shù)Demo,突破了游戲中角色互動(dòng)的界限。Inworld AI引擎采用多模態(tài)方法展示非玩家角色(NPC),將認(rèn)知、感知和行為系統(tǒng)集成在一起,在精心制作的環(huán)境中呈現(xiàn)令人驚嘆的RTX渲染角色,實(shí)現(xiàn)身臨其境的敘事效果。
最新版本的NVIDIA ACE技術(shù)Demo已經(jīng)完全可以實(shí)現(xiàn)用戶與游戲NPC的自由對(duì)話,不僅可以詢問天氣、游戲通關(guān)方法,甚至還可以嘗試賄賂或"威脅"NPC幫助通關(guān)。相較于傳統(tǒng)游戲中"一直跳過"對(duì)話的情況,這種互動(dòng)方式在游戲體驗(yàn)的樂趣上有了質(zhì)的飛躍,讓玩家更加沉浸在游戲的世界中。
體驗(yàn)總結(jié)
NVIDIA RTX AI 品鑒會(huì)展示了 AI 技術(shù)在各行各業(yè)的廣泛應(yīng)用和巨大潛力。隨著 NVIDIA 不斷優(yōu)化 GPU 算力和軟硬件平臺(tái),AI 正在重塑傳統(tǒng)行業(yè)的生產(chǎn)力,同時(shí)催生出全新的應(yīng)用場(chǎng)景和商業(yè)模式。
從專業(yè)領(lǐng)域到個(gè)人創(chuàng)作,從工作效率到娛樂體驗(yàn),AI 正在深刻影響著我們的生活和工作方式。NVIDIA 與合作伙伴的努力,讓 AI 技術(shù)變得更加易用、高效、普惠,為 AIGC 時(shí)代提供了堅(jiān)實(shí)的基礎(chǔ)設(shè)施。
展望未來(lái),AI 技術(shù)的發(fā)展將加速數(shù)字化轉(zhuǎn)型的進(jìn)程,推動(dòng)智能經(jīng)濟(jì)的崛起。隨著算力、算法、數(shù)據(jù)的不斷進(jìn)步,AI 將在更多領(lǐng)域?qū)崿F(xiàn)突破,創(chuàng)造出難以想象的應(yīng)用場(chǎng)景。NVIDIA 作為 AI 領(lǐng)域的引領(lǐng)者,必將繼續(xù)推動(dòng) AI 生態(tài)的繁榮發(fā)展,讓 AI 成為驅(qū)動(dòng)未來(lái)的變革力量。