Meta开源模型Llama3.1本地部署打造你的私人AI助手随时随地使用
发布日期:2025-04-13 22:24:16 浏览次数:12 分类:精选文章

本文共 1811 字,大约阅读时间需要 6 分钟。

本地安装 Llama 3.1 与 LobeChat 可视化界面

随着 Meta 宣布推出 Llama 3.1 405B,这一开源大语言模型逐渐成为开发者和研究者的热门选择。Llama 3.1 支持八种语言,具备通用知识、数学计算、多语言翻译和工具使用能力,是一款极具潜力的 AI 模型。本文将详细介绍如何在本地环境中安装 Llama 3.1 和 LobeChat 可视化界面,并结合 Cpolar 内网穿透实现公网远程使用。


1. 本地部署 Llama 3.1

硬件要求

  • Windows:3060 以上显卡 + 8G 以上显存 + 16G 内存,硬盘空间至少 20G
  • Mac:M1 或 M2 芯片 + 16G 内存 + 20G 以上硬盘空间

安装步骤

  • 下载 Ollama 客户端

    访问 Ollama 官网,选择 Windows 版本进行下载并安装。

    • 下载完成后,双击运行安装程序,按照指引完成安装。
    • 如果没有自动打开 PowerShell,可以手动打开终端并输入命令 ollama 进行操作。
  • 部署 Llama 3.1 模型

    在终端中输入以下命令,确保显存至少 8G:

    ollama run llama3.1:8b

    部署完成后,终端会显示成功提示。


  • 2. 本地安装 LobeChat 可视化界面

    安装流程

  • 准备工具

    • 如果未安装 Git,访问 Git 官网 下载适合操作系统的 Git 版本。
    • 安装 Node.js,访问 Node.js 官网,推荐使用 v20.12.2 版本。
  • 克隆仓库

    在终端中执行以下命令,将 LobeChat 项目下载至本地:

    git clone https://github.com/lobehub/lobe-chat.git  cd lobe-chat
  • 安装依赖

    在项目根目录下运行以下命令,下载并安装所有依赖项:

    pnpm install
  • 运行 LobeChat

    在项目根目录下运行以下命令,启动 LobeChat 服务:

    pnpm dev

    打开浏览器访问 http://localhost:3010,即可进入 LobeChat 主界面。


  • 3. 在 LobeChat 中添加 Llama 3.1

  • 进入设置

    • 点击左上角的头像,选择 设置,进入设置界面。
  • 选择语言模型

    • 在设置页面中,找到 Ollama 选项,点击 启用 Ollama,然后点击 检查连通性
  • 验证模型

    • 确认连通性后,模型列表会显示 Llama 3.1:8B,点击即可开始使用。

  • 4. 安装 Cpolar 内网穿透

    步骤概述

  • 注册 Cpolar 账号

    访问 Cpolar 官网,注册免费账号并下载最新版本 Cpolar。

  • 安装 Cpolar

    • 登录成功后,选择下载并安装 Cpolar(默认安装即可)。
    • 推荐选择 Windows 版本进行安装。
  • 配置内网穿透

    • 登录 Cpolar Web UI,进入 仪表盘 > 隧道管理 > 创建隧道
    • 配置隧道信息:
      • 隧道名称:自定义(避免重复)
      • 协议:选择 HTTP
      • 本地地址:3010
      • 域名类型:随机域名
      • 地区:中国 Top
  • 获取公网地址

    隧道创建完成后,查看隧道列表,获取生成的公网访问地址(支持 HTTP 和 HTTPS)。


  • 5. 实现公网访问 LobeChat

  • 使用公网地址

    • 将 Cpolar 生成的公网地址复制到浏览器,打开新的页面进行访问。
    • 输入公网地址即可进入 LobeChat 项目管理界面。
  • 选择模型

    • 在 LobeChat 界面中,选择 Llama 3.1:8B 模型,开始远程使用。

  • 6. 固定 LobeChat 公网地址

    为了方便团队协作和长期使用,可以将 LobeChat 的公网地址配置为固定的二级子域名。

  • 保留二级子域名

    • 登录 Cpolar Web UI,进入 保留 > 二级子域名,创建并保留一个二级子域名。
  • 配置固定隧道

    • 进入 隧道列表,选择要配置的隧道,点击 编辑
    • 修改隧道信息:
      • 域名类型:选择二级子域名
      • Sub Domain:填写保留成功的二级子域名
  • 更新隧道

    • 点击 更新,完成隧道配置。
    • 更新完成后,打开隧道列表,公网地址已变为固定二级子域名。

  • 通过以上步骤,我们成功实现了本地部署 Llama 3.1 和 LobeChat 可视化界面,并通过 Cpolar 内网穿透实现了公网远程使用。无需自行购买云服务器,仅需一个公网地址即可实现异地协作和远程访问。

    上一篇:Meta最新视频生成工具:emu video技术报告解读
    下一篇:metaspolit教程

    发表评论

    最新留言

    做的很好,不错不错
    [***.243.131.199]2025年05月18日 04时49分37秒