百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

离线在docker镜像方式部署ragflow0.17.2

wptr33 2025-03-26 17:47 29 浏览

经常项目上会出现不能连外网的情况,要怎么使用ragflow镜像部署呢,这里提供详细的步骤。

1、下载基础镜像

根据docker-compose-base.yml及docker-compose.yml中的image配置信息,下载所需要的基础服务镜像。

# 创建资源目录
mkdir -p /data/ragflow-offline/{docker-images,pip-packages}
cd /data/ragflow-offline


# 拉取并保存所有所需镜像
docker pull elasticsearch:8.11.3
#infinity和elasticsearch可以二选一下载
docker pull infiniflow/infinity:v0.6.0-dev3
#8+版本的mysql才支持向量数据
docker pull mysql:8.0.39
docker pull quay.io/minio/minio:RELEASE.2023-12-20T01-00-02Z
docker pull valkey/valkey:8

当使用sudo docker save时,虽然docker命令以root权限执行,但输出重定向操作(>)仍受当前用户目录权限限制。需要确保操作路径有足够权限,所以要先通过以下命令给足够的权限。

sudo chmod 777 /data/ragflow-offline/docker-images  # 临时放宽权限

再执行下面的保存命令

sudo docker save elasticsearch:8.11.3 > docker-images/elasticsearch-8.11.3.tar
sudo docker save infiniflow/infinity:v0.6.0-dev3 > docker-images/infinity-v0.6.0-dev3.tar
sudo docker save mysql:8.0.39 > docker-images/mysql-8.0.39.tar
sudo docker save quay.io/minio/minio:RELEASE.2023-12-20T01-00-02Z > docker-images/minio-2023-12-20.tar
sudo docker save valkey/valkey:8 > docker-images/valkey-8.tar


二、下载Ragflow

1、下载RagFlow,github上可能很慢,找一个gitee上的地址

cd /data
sudo git clone https://gitee.com/da_xu/ragflow.git
cd ragflow

2、配置python虚拟环境,如果已有请跳过

#安装venv
sudo apt install python3.12-venv
# 创建虚拟环境
sudo python3 -m venv .venv
#激活虚拟环境
source .venv/bin/activate
#安装所需要的依赖,可能会遇到很多版本问题,比如我是python3.12,要提示修改一些依赖版本
pip install -r requirements.txt

需要修改的依赖版本如下:

Pillow=10.3.0修改为11.1.0
torch=2.3.0修改为2.3.1

torch直接安装大概有800多M,看网络情况可能会超时,所以我直接选择先下载,下载地址:


https://download.pytorch.org/whl,找到你合适的版本

或者从阿里巴巴的镜像下载:
https://mirrors.aliyun.com/pypi/simple

然后使用以下命令安装

#下载
sudo wget https://download.pytorch.org/whl/cpu/torch-2.3.1%2Bcpu-cp312-cp312-linu
x_x86_64.whl#sha256=2141a6cb7021adf2f92a0fd372cfeac524ba460bd39ce3a641d30a561e41f69a
#安装torch
pip install torch-2.3.1+cpu-cp312-cp312-linux_x86_64.whl

以上可能会出现没有权限的问题,如下报错:

Installing collected packages: mpmath, typing-extensions, sympy, networkx, MarkupSafe, fsspec, filelock, jinja2, torch ERROR: Could not install packages due to an OSError: [Errno 13] Permission denied: '/data/ragflowd/.venv/lib/python3.12/site-packages/mpmath' Check the permissions.

解决方式如下:

# 进入虚拟环境上级目录
cd /data/ragflow

# 递归修改虚拟环境目录所有权(替换  为实际用户名)
sudo chown -R : .venv

# 赋予读写执行权限
sudo chmod -R 755 .venv

#或者如下操作
# 确保 /data/ragflow 目录允许当前用户操作
sudo chown -R $USER:$USER /data/ragflow
sudo chmod -R 755 /data/ragflow
#然后重新安装torch
pip install torch-2.3.1+cpu-cp312-cp312-linux_x86_64.whl

如果再遇到安装超时的问题,就采用以上方式先下载whl文件,然后单独安装,然后再安装其它的依赖。

比如又碰到160M的xgboost无法安装,如图操作:


其它比较大的whl下载:

sudo wget https://mirrors.aliyun.com/pypi/packages/67/ca/f42388aed0fddd64ade7493dbba36e1f534d4e6fdbdd355c6a90030ae028/nvidia_nccl_cu12-2.26.2-py3-none-manylinux2014_x86_64.manylinux_2_17_x86_64.whl#sha256=694cf3879a206553cc9d7dbda76b13efaf610fdb70a50cba303de1b0d1530ac6

sudo wget https://mirrors.aliyun.com/pypi/packages/92/0f/a6eeabc9d4f3dffa52d629ba2aedce3c3953a49340a65ef49be85eb26cc1/Aspose.Slides-25.2.0-py3-none-manylinux1_x86_64.whl#sha256=d60bacea1fd43d09ae1351e7a1a1c0790ff80ca7955ceb95823e47f6b39f6b91

三、打包.venv中已下载的包到pip-packages文件夹中

# 在本地开发环境执行
cd /data/ragflow
sudo tar czvf /data/ragflow-offline/pip-packages/venv.tar.gz .venv/

四、离线环境部署步骤

1. 传输离线资源到目标服务器

将以下目录复制到目标服务器/data/ragflow_inner:

sudo mkdir /data/ragflow_inner
cd /data/ragflow_inner
sudo cp -r /data/ragflow-offline/docker-images/ .
sudo cp -r /data/ragflow-offline/pip-packages/ .

2. 加载Docker镜像

cd /data/ragflow_inner
for img in docker-images/*.tar; do
    docker load -i $img
done

3. 恢复Python虚拟环境

# 解压已有虚拟环境
sudo tar xzvf pip-packages/venv.tar.gz -C /data/ragflow_inner/

4、优化配置

新的docker-compose.yml

services:
  elasticsearch:
    image: elasticsearch:8.11.3
    pull_policy: never
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms4g -Xmx4g
    volumes:
      - /data/ragflow_inner/data/elasticsearch:/usr/share/elasticsearch/data
    ports:
      - "9200:9200"
    healthcheck:
      test: ["CMD-SHELL", "curl --silent --fail localhost:9200/_cluster/health || exit 1"]

  infinity:
    image: infiniflow/infinity:v0.6.0-dev3
		pull_policy: never
    ports:
      - "8088:8088"
    depends_on:
      elasticsearch:
        condition: service_healthy

  mysql:
    image: mysql:8.0.39
		pull_policy: never
    environment:
      MYSQL_ROOT_PASSWORD: ragflow@2024
      MYSQL_DATABASE: ragflow
    volumes:
      - /data/ragflow_inner/data/mysql:/var/lib/mysql
    ports:
      - "3306:3306"
    healthcheck:
      test: ["CMD", "mysqladmin", "ping", "-h", "localhost"]

  minio:
    image: quay.io/minio/minio:RELEASE.2023-12-20T01-00-02Z
    pull_policy: never
    command: server /data --console-address ":9001"
    volumes:
      - /data/ragflow_inner/data/minio:/data
    ports:
      - "9000:9000"
      - "9001:9001"
    environment:
      MINIO_ROOT_USER: ragflowadmin
      MINIO_ROOT_PASSWORD: ragflow@minio

  valkey:
    image: valkey/valkey:8
		pull_policy: never
    ports:
      - "6379:6379"
    volumes:
      - /data/ragflow_inner/data/valkey:/data

  server:
    image: infiniflow/ragflow:0.17.2
		pull_policy: never
    environment:
      DB_HOST: mysql
      DB_PORT: 3306
      DB_NAME: ragflow
      DB_USER: root
      DB_PASSWORD: ragflow@2024
      MINIO_ENDPOINT: minio:9000
      MINIO_ACCESS_KEY: ragflowadmin
      MINIO_SECRET_KEY: ragflow@minio
      HF_ENDPOINT: ""  # 显式声明空变量避免警告
      MACOS: ""        # 同上
    volumes:
      - /data/ragflow_inner/logs:/app/logs
      - /data/ragflow_inner/models:/app/models
      - /data/ragflow_inner/.venv:/opt/venv  # 挂载已有虚拟环境
    ports:
      - "8000:8000"
    depends_on:
      mysql:
        condition: service_healthy
      minio:
        condition: service_started
      valkey:
        condition: service_started

5. 启动服务

# 创建数据目录
sudo mkdir -p /data/ragflow_inner/data/{elasticsearch,mysql,minio,valkey}

# 设置文件权限
sudo chmod -R 777 /data/ragflow_inner/data

# 启动所有服务
cd /data/ragflow_inner/docker
sudo docker compose -f docker-compose.yml up -d

#验证服务,输出如下图
sudo docker compose ps
sudo docker exec -it ragflow-server bash
source .venv/bin/activate


相关推荐

MySQL进阶五之自动读写分离mysql-proxy

自动读写分离目前,大量现网用户的业务场景中存在读多写少、业务负载无法预测等情况,在有大量读请求的应用场景下,单个实例可能无法承受读取压力,甚至会对业务产生影响。为了实现读取能力的弹性扩展,分担数据库压...

Postgres vs MySQL_vs2022连接mysql数据库

...

3分钟短文 | Laravel SQL筛选两个日期之间的记录,怎么写?

引言今天说一个细分的需求,在模型中,或者使用laravel提供的EloquentORM功能,构造查询语句时,返回位于两个指定的日期之间的条目。应该怎么写?本文通过几个例子,为大家梳理一下。学习时...

一文由浅入深带你完全掌握MySQL的锁机制原理与应用

本文将跟大家聊聊InnoDB的锁。本文比较长,包括一条SQL是如何加锁的,一些加锁规则、如何分析和解决死锁问题等内容,建议耐心读完,肯定对大家有帮助的。为什么需要加锁呢?...

验证Mysql中联合索引的最左匹配原则

后端面试中一定是必问mysql的,在以往的面试中好几个面试官都反馈我Mysql基础不行,今天来着重复习一下自己的弱点知识。在Mysql调优中索引优化又是非常重要的方法,不管公司的大小只要后端项目中用到...

MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)

目录1.索引基础...

你会看 MySQL 的执行计划(EXPLAIN)吗?

SQL执行太慢怎么办?我们通常会使用EXPLAIN命令来查看SQL的执行计划,然后根据执行计划找出问题所在并进行优化。用法简介...

MySQL 从入门到精通(四)之索引结构

索引概述索引(index),是帮助MySQL高效获取数据的数据结构(有序),在数据之外,数据库系统还维护者满足特定查询算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构...

mysql总结——面试中最常问到的知识点

mysql作为开源数据库中的榜一大哥,一直是面试官们考察的重中之重。今天,我们来总结一下mysql的知识点,供大家复习参照,看完这些知识点,再加上一些边角细节,基本上能够应付大多mysql相关面试了(...

mysql总结——面试中最常问到的知识点(2)

首先我们回顾一下上篇内容,主要复习了索引,事务,锁,以及SQL优化的工具。本篇文章接着写后面的内容。性能优化索引优化,SQL中索引的相关优化主要有以下几个方面:最好是全匹配。如果是联合索引的话,遵循最...

MySQL基础全知全解!超详细无废话!轻松上手~

本期内容提醒:全篇2300+字,篇幅较长,可搭配饭菜一同“食”用,全篇无废话(除了这句),干货满满,可收藏供后期反复观看。注:MySQL中语法不区分大小写,本篇中...

深入剖析 MySQL 中的锁机制原理_mysql 锁详解

在互联网软件开发领域,MySQL作为一款广泛应用的关系型数据库管理系统,其锁机制在保障数据一致性和实现并发控制方面扮演着举足轻重的角色。对于互联网软件开发人员而言,深入理解MySQL的锁机制原理...

Java 与 MySQL 性能优化:MySQL分区表设计与性能优化全解析

引言在数据库管理领域,随着数据量的不断增长,如何高效地管理和操作数据成为了一个关键问题。MySQL分区表作为一种有效的数据管理技术,能够将大型表划分为多个更小、更易管理的分区,从而提升数据库的性能和可...

MySQL基础篇:DQL数据查询操作_mysql 查

一、基础查询DQL基础查询语法SELECT字段列表FROM表名列表WHERE条件列表GROUPBY分组字段列表HAVING分组后条件列表ORDERBY排序字段列表LIMIT...

MySql:索引的基本使用_mysql索引的使用和原理

一、索引基础概念1.什么是索引?索引是数据库表的特殊数据结构(通常是B+树),用于...