Installation and Setup Guide

安装和设置指南

本文档提供了设置开发环境和运行应用程序的分步说明。

截图

前提条件

开始之前，请确保系统已安装所有必需的工具。

安装步骤

1. 安装并运行 Ollama（如果要使用 Together.ai API，请跳过）

Ollama 用于提供模型推理能力。

1. 从 https://ollama.com/ 下载并安装 Ollama
2. 使用以下命令启动 Ollama 服务：

   ollama serve
   

   ollama pull llama3.2:3b
   

2. 设置 LLama-Stack

LLama-Stack 将用于管理我们的推理环境。

1. 安装 uv 包管理器
2. 设置虚拟环境（venv）
3. 在虚拟环境中运行以下命令：

   INFERENCE_MODEL=llama3.2:3b llama stack build --template ollama --image-type venv --run
   

   或

   INFERENCE_MODEL=meta-llama/Llama-3.3-70B-Instruct llama stack build --template together --image-type venv --run
   

3. 项目设置

克隆此仓库并安装所需的依赖项：

1. 克隆仓库：

   git clone [https://github.com/ricardoborges/chatlab.git]
   cd [chatlab]
   

2. 创建虚拟环境并安装依赖项：

   uv venv
   uv pip install -r myproject.toml
   

4. 运行应用程序

如果不启动 Ollama 本地服务，请创建 TogetherAI 账户。然后，如果你还没有 API 密钥，请先从 Together 获取一个。

获取 API 密钥的方法： https://docs.google.com/document/d/1Vg998IjRW_uujAPnHdQ9jQWvtmkZFt74FldW2MblxPY/edit?tab=t.0

你需要在 .env 文件中设置以下环境变量：

TAVILY_SEARCH_API_KEY= TOGETHER_API_KEY=

或者直接忽略这些设置，并在 main.py 中设置 DEFAULT_STACK="Ollama"（如果要运行本地 Ollama 服务）

使用以下命令启动 Gradio 应用程序：

gradio main.py

运行此命令后，即可在浏览器中访问应用程序界面。

故障排除

如果在安装过程中遇到问题，请检查：

• Ollama 服务是否正在运行
• 虚拟环境是否已正确激活
• 是否已成功安装所有依赖项

其他资源

有关 LLama-Stack 的更多信息，请参阅官方文档。