如何在 Windows 11 PC 上安裝 LLaMA 3?

Llama 3 是 Meta 最新的大型語言模型。您可以將其用於各種目的,例如解決您的疑問、獲得學校作業和專案的幫助等。這篇文章向您展示如何在 Windows 11 PC 上安裝 Llama 3

如何在 Windows 11 PC 上安裝 Llama 3

透過 Python 在 Windows 11 PC 上安裝 Llama 3 需要技術技能和知識。但是,一些替代方法可讓您在 Windows 11 電腦上本機部署 Llama 3。我將向您展示這些方法。

要在 Windows 11 PC 上安裝 Llama 3,您必須在命令提示字元中執行一些命令。但是,這僅允許您使用其命令列版本。如果您想使用其 Web UI,則必須採取進一步的步驟。我將向您展示這兩種方法。

透過 CMD 在 Windows 11 PC 上部署 Llama 3

要在 Windows 11 PC 上部署 Llama 3,您需要在 Windows 電腦上安裝 Ollama。其步驟如下:

  1. 訪問奧拉瑪官方網站
  2. 點選下載按鈕,然後選擇視窗
  3. 現在,點擊下載 Windows 版按鈕將 exe 檔案儲存到您的 PC 上。
  4. 運行 exe 檔案以在您的電腦上安裝 Ollama。

在您的裝置上安裝 Ollama 後,重新啟動電腦。它應該在後台運行。您可以在系統托盤中看到它。現在,點擊 Ollama 網站上的「模型」選項。您將看到它的不同型號。

Llama 3.1有以下三個參數:

  • 8B
  • 70B
  • 405B

最後一項是最大的參數,顯然無法在低端PC上運作。 Llama 3.2有以下兩個參數:

  • 1B
  • 3B

按一下您要在 PC 上安裝的 Llama 版本。例如,如果您要安裝 Llama 3.2,請按一下 Llama 3.2。在下拉清單中,您可以選擇要安裝的參數。之後,複製旁邊的命令並將其貼上到命令提示字元中。

為了您的方便,我為 Llama 3.2 模型編寫了這兩個命令。若要安裝 Llama 3.2 3B 模型,請執行以下命令:

ollama run llama3.2:3b

若要安裝 Llama 3.2 1B 模型,請使用下列指令:

ollama run llama3.2:1b

開啟命令提示符,鍵入上述任何命令(根據您的要求),然後點擊進入。下載所需的文件需要一些時間。下載時間也取決於您的網路連線速度。完成後你會看到成功命令提示字元中的消息。

現在,輸入訊息以使用 Llama 3.2 模型。如果您想安裝 Llama 3.1 模型,請使用 Ollama 網站上提供的指令。

下次啟動命令提示字元時,請使用相同的命令在 PC 上執行 Llama 3.1 或 3.2。

透過 CMD 安裝 Llama 3 有一個缺點。它不會保存您的聊天記錄。但是,如果您將其部署在本機上,您的聊天記錄將被保存,並且您將獲得更好的使用者介面。下一個方法展示瞭如何做到這一點。

在 Windows 11 上部署 Llama 3 Web UI

與在 CMD 視窗上使用相比,在 Web 瀏覽器上使用 Llama 3 可以提供更好的使用者介面,並且還可以保存聊天記錄。我將向您展示如何在 Web 瀏覽器上部署 Llama 3。

若要在 Web 瀏覽器中使用 Llama 3,應透過 Ollama 和 Docker 在您的系統上安裝 Llama 3。如果您尚未安裝 Llama 3,請使用 Ollama 安裝它(如上所述)。現在,從其下載並安裝 Docker官方網站

安裝 Docker 後,啟動它並註冊建立帳戶。在您註冊之前,Docker 不會運作。註冊後,在 Docker 應用程式上登入您的帳戶。將 Docker 最小化到系統托盤。 Docker 和 Ollama 應用程式應在背景運行。否則,您將無法在網頁瀏覽器中使用 Llama 3。

現在,打開命令提示符,複製以下命令,並將其貼上到命令提示字元中:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

上述命令將需要一些時間來下載所需的資源。因此,要有一些耐心。命令完成後,打開Docker並選擇貨櫃從左側開始的部分。您將看到自動建立了一個容器,連接埠為 3000:8080。

按一下連接埠 3000:8080。這將在您的預設網頁瀏覽器中開啟一個新分頁。現在,註冊並登入以在網頁瀏覽器上使用 Llama 3。如果您看到網址列,您將看到本機:3000在那裡,這意味著 Llama 3 託管在您的電腦本地。您可以在沒有網路連線的情況下使用它。

從下拉清單中選擇您的 Llama 聊天模型。如果您想要新增更多 Llama 3 的聊天模型,您必須使用所需的命令透過 Ollama 安裝它。之後,該模型將自動在您的網頁瀏覽器中可用。

您的所有聊天記錄都將保存並可在左側存取。當您想要退出時,請在網頁瀏覽器中登出您的工作階段。之後,打開 Docker 應用程式並點擊停止按鈕來停止 Docker。現在,您可以關閉 Docker。

當您下次想在 Web 瀏覽器中使用 Llama 3 時,啟動 Ollama 和 Docker,等待幾分鐘,然後按一下 Docker 容器中的連接埠以在 Web 瀏覽器中開啟 localhost 伺服器。現在,登入您的帳戶並開始使用 Llama 3。

我希望這有幫助。

Llama 3 可以在 Windows 上運作嗎?

根據您電腦的硬體配置,您可以在系統上執行 Llama 3。其1B型號是最輕的。您可以透過命令提示字元在系統上安裝並執行它。

Llama 3 需要多少記憶體?

Llama 3 最輕的型號是 Llama 3.2 1B。您的系統應具有 16 GB RAM 才能運行 Llama 3.2 1B 型號。除此之外,您的系統還應該有一個重型 GPU。 Llama 3 的較高型號需要更多的系統資源。

閱讀下一篇:。

Related Posts