在 Windows 11 PC 上本地運行 LLM 的免費工具

您希望您的資料保持私密且永遠不會離開您的裝置嗎？ Cloud LLM 服務通常會根據 API 呼叫收取持續訂閱費用。即使是偏遠地區的使用者或網路連線不可靠的使用者也不會特別喜歡雲端服務。那麼解決方法是什麼呢？

幸運的是，本地法學碩士工具可以消除這些成本，並允許使用者在其硬體上運行模型。這些工具還可以離線處理數據，以便外部伺服器無法存取您的資訊。您還可以更好地控制特定於您的工作流程的介面。

在本指南中，我們收集了免費本地法學碩士工具滿足您的所有條件，同時滿足您的隱私、成本和效能需求。

在 Windows 11 PC 上本地運行 LLM 的免費工具

這裡有一些經過精心挑選和親自測試的免費本地法學碩士工具。

1. 揚
2. LM工作室
3. GPT4ALL
4. 任何法學碩士
5. 成為

1]一月

您熟悉 ChatGPT 嗎？如果是這樣，Jan 就是一個可以離線工作的版本。您可以在沒有互聯網的情況下在您的個人設備上運行它。它允許您在本地網路上私下生成、分析和處理文字資料。

它配備了 Mistral、Nvidia 或 OpenAI 等一流模型，您無需將資料發送到另一台伺服器即可使用。如果您優先考慮此工具，則適合並希望有一個強大的替代方案來取代基於雲端的法學碩士。

特徵

• 預建模型：它提供已安裝的 AI 模型，無需額外程式即可使用。
• 客製化：變更儀表板的顏色並使主體變為純色或半透明。
• 拼字檢查：使用此選項可以修復拼字錯誤。

優點

• 使用 Hugging Face 來源導入模型。
• 它支援定制擴展。
• 免費

缺點

• 社群支援較少 Jan 缺乏社群支持，使用者可能會發現較少的教學和資源。

在這裡查看法學碩士

2]LM工作室

LM Studio 是另一個在本地使用語言模型的工具，例如 ChatGPT。它提供大型、增強的模型來理解和回應您的請求。但是，與基於雲端的模型不同，您可以留在設備上。換句話說，對其使用有更多的隱私和控制。

LM Studio 可以在您的機器上總結文字、生成內容、回答您想要的問題，甚至協助編碼。在運行模型之前，您可以獲得有關您的系統是否可以處理該模型的報告。這樣您就可以只將時間和資源花在相容的型號上。

特徵

• 文件附件和 RAG：您可以在聊天框下方上傳 PDF、docx、txt 和 CSV 檔案並獲得相應的回應。
• 客製範圍：它提供多種顏色主題，並允許您選擇介面的複雜程度。
• 資源密集：它提供免費文件以及學習和使用該工具的方法。

優點

• 您可以在 Linux、Mac 或 Windows 上使用它。
• 為開發人員設定本機伺服器。
• 它提供了精選的模特播放列表

缺點

• 開始工作可能很複雜，特別是對於新人來說。

在這裡查看法學碩士

3]GPT4ALL

GPT4ALL 是另一個 LLM 工具，無需網路連線甚至 API 整合即可在您的裝置上執行模型。該程式在沒有 GPU 的情況下運行，但它可以利用 GPU（如果可用），這使其適合許多用戶。它還支援一系列 LLM 架構，這使得它與開源模型和框架相容。

它還使用 llama.cpp 作為 LLM 的後端，這可以在沒有高階基礎設施的情況下提高 CPU 和 GPU 上的模型效能。 GPT4ALL 相容於 Intel 和 AMD 處理器；它使用 GPU 來實現更快的處理。

特徵

• 本地文件互動：模型可以查詢本地文件並與本地文件互動。與 PDF 或文字文件一樣，使用本機文件。
• 高效率的：許多模型都有 4 位元版本，該版本使用更少的記憶體和處理能力。
• 廣泛的模型庫：GPT4ALL 擁有來自 Hugging Face 等儲存庫的 1000 多個開源模型。

優點

• 開源透明
• 它為企業在本地使用人工智慧提供了特定的套餐。
• GPT4ALL 強烈關注隱私

缺點

• 對 Chromebook 等 ARM 處理器的有限支持

在這裡查看法學碩士

4]任何事法學碩士

AnythingLLM 是一個開源法學碩士，提供高度客製化和私人人工智慧體驗。它允許用戶在本機裝置（例如 Mac、Windows 或 Linux）上離線部署和運行 LLM，從而確保完整的

此外，該工具最適合希望以最少的設定獲得易於安裝的解決方案的單一使用者。您可以將其視為企業或個人都可以運作的類似 CharGPT 的私人系統。

特徵

• 開發者友善：它具有用於自訂整合的完整 API。
• 工具整合：您可以整合其他工具並產生 API 金鑰。
• 輕鬆設定：它有一個單擊安裝過程。

優點

• LLM 使用的靈活性
• 以文件為中心
• 該平台有人工智慧代理來自動執行任務

缺點

• 缺乏多用戶支持
• 進階功能的複雜性

在這裡查看法學碩士

5] 成為

Ollama 無需 API 即可完全控制建立本機聊天機器人。目前，它擁有最重要的貢獻者，他們提供頻繁的更新並改進 GitHub 的整體功能。這更新了該工具並提供了比其他工具更好的性能。與上面討論的其他工具不同，它打開一個終端介面來安裝和啟動模型。

您安裝的每個型號都有自己的配置和權重，避免與電腦上的其他軟體發生衝突。除了命令列介面之外，Ollama 還具有與 OpenAI 相容的 API。您可以輕鬆地將此工具與使用 OpenAI 模型的工具整合。

特徵

• 本地部署：Ollama 讓您離線執行大型語言模型，例如 Llama、Mistral 或其他。
• 型號客製化：進階使用者可以使用模式文件設定模型中的行為。
• OpenAI API 相容性：它有一個與 OpenAI 的 API 相容的 REST API。
• 資源管理：它優化了 CPU 和 GPU 的使用，而不會使系統超載。

優點

• 您可以獲得模型的集合。
• 它可以從 PyTorch 等開源庫導入模型。
• Ollama 可以整合強大的圖書館支持

缺點

• 它不提供圖形使用者介面
• 需要大量儲存需求

在這裡查看法學碩士

結論

總之，本地法學碩士工具為基於雲端的模型提供了一個有價值的替代方案。它們免費提供更高級別的隱私和控制。無論您的目標是易於使用還是定制，列出的工具都可以滿足各種需求和專業水平。

根據您的需求，例如處理能力和相容性，其中任何一個都可以利用人工智慧的潛力，而不會損害隱私或不需要訂閱費用。