如何在Windows 11上本地運行QWEN AI

Qwen AI是阿里巴巴集團發布的最新AI模型。儘管,,,,,,,,以及其他流行的AI工具可用於Android,iOS和Windows平台,QWEN當前可作為Web應用程序使用。您可以通過訪問其官方網站訪問和使用此工具。但是,這需要您在網站上註冊。此外,您還應該具有主動的Internet連接。但是你知道你可以在Windows 11/10 PC上本地運行QWEN AI?本文向您展示瞭如何做到這一點。

如何在網絡上使用QWEN AI?

要在網上使用來自阿里巴巴的Qwen AI,請訪問chat.qwenlm.ai並輸入您的查詢。繼續像在任何AI工具中一樣聊天。您將必須創建一個帳戶並登錄才能使用QWEN。

如何在Windows 11/10上本地運行QWEN AI

要在Windows PC上本地運行QWEN,您需要安裝以下兩個工具:

  • 霍拉馬
  • Docker

霍拉馬是一個免費的開源項目,允許用戶在本地機器上運行LLM(大語言模型)。

Docker是用於開發,運輸和運行應用程序的開源平台。開發人員可以通過在Docker中創建容器來分享他們的工作。

在本指南中,我們將通過在Docker應用中創建一個容器來解釋您如何在Windows PC上本地運行QWEN AI。

如何在Windows上安裝Ollama

第一步是在系統上安裝Ollama。請按照下面提供的步驟:

  1. 參觀Ollama的官方網站
  2. 單擊下載按鈕,選擇Windows平台,然後繼續為Windows機器下載Ollama。
  3. 下載完成後,運行安裝程序文件以在系統上安裝Olama。
  4. 現在,啟動Ollama,讓它在後台運行。

本地安裝QWEN AI模型

現在,下一步是在您本地系統上安裝QWEN AI模型。轉到Ollama的官方網站,然後單擊型號選項卡。在這裡,您將看到所有AI模型。搜尋Qwen。然後,它將向您顯示所有可用的QWEN AI模型,包括QWEN,QWEN2,QWEN2.5等。單擊要在PC上部署的模型。

在本指南中,我們將看到如何安裝qwen2.5在Windows機器上本地模型。每個QWEN模型都有不同的參數。 QWEN2.5模型的參數為0.5b,1.5b,3b,7b等。QWEN 0.5B是最小且最快的參數。它由5億參數組成,非常適合基本任務。 QWEN AI的1.5B參數比QWEN 0.5B參數更為先進。同樣,其他大參數比以前的參數更高級參數。

安裝大參數需要高端PC。因此,安裝計算機可以平穩運行的一個。同樣,較大的參數需要更多的磁盤空間。從下拉列表中選擇參數,然後復制其各自命令。例如,以0.5B參數安裝QWEN2.5 AI的命令為:

ollama run qwen2.5:0.5b

打開命令提示符,粘貼複製命令,然後點擊進入。在完成命令之前,請勿關閉命令提示。

當命令成功執行時,QWEN AI將安裝在您的計算機上。現在,您可以在CMD中與Qwen AI聊天。如果您想下次與Qwen AI聊天,請打開命令提示符並運行同一命令。要安裝QWEN AI的另一個型號,請從Ollama網站複製所需命令,然後在CMD中運行。

在Windows上安裝Docker

您可以在Windows機器上使用CMD中的QWEN AI。但是,它不能保存您的聊天歷史記錄。此外,為QWEN AI安裝專用UI也使其更容易使用。為此,您必須安裝Docker。

參觀Docker的官方網站並下載其Windows支持的版本。現在,在PC上安裝應用程序。您需要在Docker的網站上創建一個帳戶才能下載並將其安裝在系統上。

Docker安裝完成後,運行Docker並確保其在後台運行。現在,打開命令提示符並執行以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

上面的命令將在Docker應用程序中創建一個容器。完成上述命令將需要一些時間。命令完成後,打開Docker應用程序。您會在容器部分。

在Windows上本地運行QWEN AI

現在,最後一步是在Web瀏覽器中的系統上本地運行QWEN AI。打開Docker應用程序,然後單擊3000:8080鏈接在“容器”部分中。這將在您的默認Web瀏覽器中使用端口3000打開Localhost。現在,創建一個帳戶。請記住登錄詳細信息,因為您每次都需要使用相同的登錄詳細信息。

請注意,要在Web瀏覽器中本地運行QWEN AI,Ollama和相應的Docker容器都應在後台運行。

就是這樣。

我可以在PC上使用AI嗎?

是的,您可以在PC上使用AI工具。如果您的系統沒有支持的硬件,則可以使用雲AI工具。此類工具託管在其服務器上。因此,他們不會在您的系統上加載。但是,如果您想在系統上本地部署AI工具,則係統應支持硬件。

Qwen LLM開源嗎?

QWEN AI的一些模型是開源的,包括QWEN2.5-7B-INSTRUCT-1M和QWEN2.5-14B-INSTRUCT-1M。