如何在Windows上为初学者设置Localgpt

如果您不想为LLM付款或不想确保数据安全，那么您应该设置Localgpt。它使您可以完全控制AI如何运行和处理数据。它还可以确保隐私，因为所有数据都保留在您的本地系统上，而不是发送到外部服务器。

在Windows PC上设置本地GPT

Localgpt是一种受启发的开源工具Privategpt，旨在在用户设备上本地运行大型语言模型（LLMS），以供私人使用。与仅依靠CPU执行的Privategpt不同，LocalGPT通过GPU支持硬件加速，以提高性能并减少延迟。 Localgpt使用Vicuna-7B LLM和教师培训，而不是GPT-4 ALL模型和Llamaembeddings。它与Blenderbot和Wizardlm-7b这样的模型配合使用，使我们可以根据特定需求进行交换模型。整个管道在本地运行，确保数据隐私在无需外部API依赖的情况下提供高级NLP功能，从而使其成为本地操作的AI模式的理想选择。

在本指南中，我们将在Windows上设置本地GPT。您可以按照下面提到的步骤进行操作。

1. 下载并安装Miniconda
2. 安装Localgpt存储库
3. 安装依赖项
4. 运行Localgpt

让我们详细讨论它们。

1]下载并安装Miniconda

Miniconda是Conda软件包管理器的轻量级分发，旨在快速设置Python环境。它仅提供必需品，允许用户根据需要添加特定软件包来自定义安装。要下载它，请转到Anaconda.com，向下滚动，转到Miniconda安装程序，然后下载Windows，因为本指南适用于Windows。

现在，运行安装程序并按照屏幕上的说明完成安装过程，但是请确保在您在高级安装选项，勾选所有盒子，最后完成安装。

要检查是否已安装，请搜索“ Anaconda提示”在开始菜单中并打开CLI。现在，您可以运行康达列表只是为了确认已安装。

2]安装Localgpt存储库

现在，我们需要安装Localgpt存储库由及时工程师在Github上托管。我们可以从那里得到它。为此，导航到github.com。您可以浏览页面以了解有关LocalGpt的更多信息并安装它，您需要单击代码>下载zip。下载邮政编码后，请转到下载文件夹，右键单击zip文件，选择提取，设置要提取文件并完成过程的位置。打开提取的文件夹，在其中，您将一个叫称为的文件夹Localgpt-Main。只是为了简单起见，我们将文件夹粘贴在桌面上并命名“ LGPT”。

3]安装依赖项

现在，我们需要创建一个虚拟环境，其中要安装所有依赖项。为此，打开“ Anaconda提示”从开始菜单并运行以下命令。

conda create -n environment_name python=3.10

conda activate environment_name

注意：用您选择的任何名称替换变量“ vosing_name”。

如果它要求您下载任何软件包，请给予您同意并继续进行。

现在，我们需要安装我们之前下载的软件包。为此，您需要首先使用以下命令导航到目录。

cd Desktop

cd LGPT

我们可以使用以下命令一次安装所有组件，而不是一个一个一个一个组安装所有组件。

pip install -r requirements.txt

您可能会遇到两个错误。

• 导入火炬Modulenotfounderror：跑步

  PIP安装火炬火炬火炬手然后运行上述命令。

• 需要Microsoft C ++：单击上述URL，然后单击下载Visual Studio下载构建工具，开放视觉工作室后，您需要浏览所没有的工具并下载它们。

解决问题后，再次运行安装程序命令，然后安装后，转到下一步。

4]运行Localgpt

首先，您需要运行Python摄入，这意味着从源文档中导入数据，处理文档并将其嵌入在矢量数据库（Chroma DB）中。为此，您需要执行以下命令。

python ingest.py

我们建议您使用任务管理器密切关注CPU使用情况。

现在，ccess the localgpt目录中的常数文件。通过在其行中添加评论来禁用Llama 3模型，并通过从其行中删除评论来激活Llama 2模型（7b参数）。

完成后，您需要使用以下命令运行本地策略。

python run_local_gpt.py

如果您遇到一个错误，说明骆驼缺少，运行PIP安装Llama-CPP-Python。

希望您能够在本指南的帮助下在本地运行本地网络。

读：

如何在Windows上安装Privategpt？