英偉達今日宣布，旗下AI聊天機器人ChatRTX進行0.3版本更新，此次更新不僅增加了對谷歌的Gemma、ChatGLM3和OpenAI的CLIP等多種人工智能模型的支持，還首次集成了先進的Whisper語音識別系統(tǒng)，為用戶帶來前所未有的智能交互體驗。

英偉達今年三月曾公開AI聊天機器人ChatRTX，使用者可以在有著英偉達RTX技術支援的Windows PC和工作站上，與儲存在本地端的資料互動。ChatRTX利用檢索增強生成、英偉達TensorRT-LLM軟體與英偉達RTX加速等技術，將聊天機器人功能帶至有著RTX技術支援的Windows PC和工作站上。在LLM的支援下，使用者可以透過ChatRTX查詢他們的筆記和檔案，且由于ChatRTX在使用者裝置本機端運行，能夠快速生成相關回應。

英偉達表示，最新版本加入支援其他LLM，包括由谷歌訓練出最新的開放式、可在本地端運行的Gemma。Gemma是Google使用與自家Gemini模型相同的研究和技術，專為負責任AI開發(fā)而打造的模型。ChatRTX現(xiàn)在也支援基于通用語言模型框架的開放式中英雙語ChatGLM3大型語言模型。

英偉達指出，由于支援OpenAI的對比語言和影像預訓練技術，使用者能與影像資料進行互動。經(jīng)過訓練和細化后的CLIP神經(jīng)網(wǎng)絡，從自然語言監(jiān)督中學習視覺概念。也就是說，這個模型會辨識在影像集里「看到」的東西。因ChatRTX支援CLIP，使用者可透過單字、術語和短語，與裝置本機端的相片和影像進行互動，無需使用復雜的詮釋資料標記。

另外，新版本的ChatRTX還讓使用者可以用自己的聲音與資料進行聊天。由于有支援使用AI處理口語的自動語音識別系統(tǒng)Whisper，使用者可以在應用程式上用語音進行查詢，ChatRTX將以文字加以回應。這意味著用戶不再局限于鍵盤輸入，而是可以通過簡單的語音指令來與機器人交互，查詢本地數(shù)據(jù)，享受更為自然和高效的溝通方式。