
Meta开源模型Llama3.1本地部署打造你的私人AI助手随时随地使用
发布日期:2025-04-13 22:24:16
浏览次数:12
分类:精选文章
本文共 1811 字,大约阅读时间需要 6 分钟。
本地安装 Llama 3.1 与 LobeChat 可视化界面
随着 Meta 宣布推出 Llama 3.1 405B,这一开源大语言模型逐渐成为开发者和研究者的热门选择。Llama 3.1 支持八种语言,具备通用知识、数学计算、多语言翻译和工具使用能力,是一款极具潜力的 AI 模型。本文将详细介绍如何在本地环境中安装 Llama 3.1 和 LobeChat 可视化界面,并结合 Cpolar 内网穿透实现公网远程使用。
1. 本地部署 Llama 3.1
硬件要求
- Windows:3060 以上显卡 + 8G 以上显存 + 16G 内存,硬盘空间至少 20G
- Mac:M1 或 M2 芯片 + 16G 内存 + 20G 以上硬盘空间
安装步骤
下载 Ollama 客户端
访问 Ollama 官网,选择 Windows 版本进行下载并安装。- 下载完成后,双击运行安装程序,按照指引完成安装。
- 如果没有自动打开 PowerShell,可以手动打开终端并输入命令
ollama
进行操作。
部署 Llama 3.1 模型
在终端中输入以下命令,确保显存至少 8G:ollama run llama3.1:8b
部署完成后,终端会显示成功提示。
2. 本地安装 LobeChat 可视化界面
安装流程
准备工具
- 如果未安装 Git,访问 Git 官网 下载适合操作系统的 Git 版本。
- 安装 Node.js,访问 Node.js 官网,推荐使用 v20.12.2 版本。
克隆仓库
在终端中执行以下命令,将 LobeChat 项目下载至本地:git clone https://github.com/lobehub/lobe-chat.git cd lobe-chat
安装依赖
在项目根目录下运行以下命令,下载并安装所有依赖项:pnpm install
运行 LobeChat
在项目根目录下运行以下命令,启动 LobeChat 服务:pnpm dev
打开浏览器访问 http://localhost:3010
,即可进入 LobeChat 主界面。
3. 在 LobeChat 中添加 Llama 3.1
进入设置
- 点击左上角的头像,选择 设置,进入设置界面。
选择语言模型
- 在设置页面中,找到 Ollama 选项,点击 启用 Ollama,然后点击 检查连通性。
验证模型
- 确认连通性后,模型列表会显示 Llama 3.1:8B,点击即可开始使用。
4. 安装 Cpolar 内网穿透
步骤概述
注册 Cpolar 账号
访问 Cpolar 官网,注册免费账号并下载最新版本 Cpolar。安装 Cpolar
- 登录成功后,选择下载并安装 Cpolar(默认安装即可)。
- 推荐选择 Windows 版本进行安装。
配置内网穿透
- 登录 Cpolar Web UI,进入 仪表盘 > 隧道管理 > 创建隧道。
- 配置隧道信息:
- 隧道名称:自定义(避免重复)
- 协议:选择 HTTP
- 本地地址:3010
- 域名类型:随机域名
- 地区:中国 Top
获取公网地址
隧道创建完成后,查看隧道列表,获取生成的公网访问地址(支持 HTTP 和 HTTPS)。5. 实现公网访问 LobeChat
使用公网地址
- 将 Cpolar 生成的公网地址复制到浏览器,打开新的页面进行访问。
- 输入公网地址即可进入 LobeChat 项目管理界面。
选择模型
- 在 LobeChat 界面中,选择 Llama 3.1:8B 模型,开始远程使用。
6. 固定 LobeChat 公网地址
为了方便团队协作和长期使用,可以将 LobeChat 的公网地址配置为固定的二级子域名。
保留二级子域名
- 登录 Cpolar Web UI,进入 保留 > 二级子域名,创建并保留一个二级子域名。
配置固定隧道
- 进入 隧道列表,选择要配置的隧道,点击 编辑。
- 修改隧道信息:
- 域名类型:选择二级子域名
- Sub Domain:填写保留成功的二级子域名
更新隧道
- 点击 更新,完成隧道配置。
- 更新完成后,打开隧道列表,公网地址已变为固定二级子域名。
通过以上步骤,我们成功实现了本地部署 Llama 3.1 和 LobeChat 可视化界面,并通过 Cpolar 内网穿透实现了公网远程使用。无需自行购买云服务器,仅需一个公网地址即可实现异地协作和远程访问。
发表评论
最新留言
做的很好,不错不错
[***.243.131.199]2025年05月18日 04时49分37秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
MFC数据类型
2025-04-14
MFC显示JPG图片
2025-04-14
MFC模态对话框和非模态对话框
2025-04-14
MFC调用DOS窗口显示信息
2025-04-14
mha高可用
2025-04-14
MHA高可用架构与Atlas读写分离
2025-04-14
Miaoo朋友圈程序全完整版源码
2025-04-14
MicroJob 任务注册中心添加 Nacos 支持,升级 0.0.3 版本
2025-04-14
Microsoft Access 详解-chatgpt4o作答
2025-04-14
Microsoft AI-System 开源项目教程
2025-04-14
Microsoft Project Acoustics 开源项目教程
2025-04-14
Microsoft Security Updates API 使用教程
2025-04-14
Microsoft SQL Server 2000收缩MDF数据
2025-04-14
Microsoft SQL Server 2005 提供了一些工具来监控数据库
2025-04-14
Microsoft Store 里面应用没有获取和安装按钮,无法安装应用 怎么办?
2025-04-14
Microsoft Windows XP SP3安装测试手记
2025-04-14
Microsoft.CSharp.targets不存在解决方法
2025-04-14
Microsoft语音识别定制培训
2025-04-14