NVIDIA先前在CES 2024（消費性電子展）發表ChatRTX聊天機器人程式，並在近期改版新增支援ChatGLM 3中文大型語言模型，讓我們一起來看看其功能如何。
安裝與增加模型
ChatRTX是NVIDIA推出的聊天機器人程式，能在搭載8GB以上顯示記憶體的NVIDIA GeForce RTX 30 / RTX 40系列顯示卡、顯示晶片的Windows電腦上執行，並可在下載大型語言模型（Large Language Model，LLM）之後全程離線運作，避免機敏資料外洩。
ChatRTX目前版本支援Llama 2 13B、Gemma 7B、Mistral 7B、ChatGLM 3 6B、CLIP等模型，其中ChatGLM 3 6B為北京智譜華章科技公司推出的大型語言模型，能夠支援正體中文與簡體中文，而CLIP則是由OpenAI公司推出的圖文對應模型（其概念比較難以解釋，在ChatRTX的主要功能為辨識圖片）。
讀者可以從NVIDIA官方網站下載ChatRTX程式，並在啟動程式後，於網頁介面選擇安裝更多模型。
ChatRTX外掛資料庫更聰明
ChatRTX支援RAG（Retrieval Augmented Generation，檢索增強生成）功能，能夠讓程式「查閱」資料庫中的文字與圖片檔案，進而讓程式的回應更貼近使用者的需求。舉例來說，筆者就將自己撰寫的文章匯入資料庫，讓預先訓練的大型語言模型快速「新增知識」，能夠回答筆者個人資料以及最新報導內容。
由於ChatRTX運作過程不會將任何資料上傳至雲端，能夠避免資料庫中的機敏資料外洩，使用上更加安全。雖然ChatGLM 3 6B是中國公司推出的大型語言模型，所以具有自我審查的狀況，不過在ChatRTX中使用這款模型仍不會造成資料外洩疑慮。
另一方面，在安裝CLIP模型之後，ChatRTX也能透過使用者輸入的提示詞搜尋資料庫中的圖片。
▲ChatRTX的實際操作影片。讀者也可參考下列詳細圖文介紹。
如果讀者具有搭載NVIDIA GeForce RTX 30 / RTX 40系列顯示卡、顯示晶片的電腦，不妨也下載ChatRTX親自嘗試。
加入電腦王Facebook粉絲團