当前位置：网站首页 > IT技术 > 正文

GPU服务器私有化部署OCR服务

wptr33 2025-05-22 14:11 22 浏览

从年初的DeepSeek爆发，到现在各大模型百花齐放，大模型能力正在渗透到生活和工作的方方面面，ocr识别也在大模型能力的加持下，爆发出惊人的能力，今天就在GPU服务器上部署一下OCR服务。

首先要在GPU服务上安装显卡驱动，在之前的文章中也有写到，我们就从NVIDIA官网（
https://www.nvidia.cn/drivers/lookup/）上找出适合GPU型号的驱动：

NVIDIA驱动安装命令如下：

chmod +x NVIDIA-Linux-x86_64-550.120.run

./NVIDIA-Linux-x86_64-550.120.run

安装完就可以通过nvidia-smi命令查看：

该ocr服务需要用到avx2指令集。若机器不支持avx2指令，服务将无法启动。查看机器是否支持avx2指令方法如下：

cat /proc/cpuinfo | grep avx2

然后就是按照docker-ce，由于该服务器无法联网，只能进行离线安装，首先安装docker-ce的依赖包，依赖如下：

通过命令rpm -ivh *.rpm进行安装。然后在安装docker-ce得安装包，如下：

安装完可通过以下命令进行设置：

# 重新加载systemd配置
systemctl daemon-reload

# 启动并设置开机自启
systemctl enable docker
systemctl start docker

可通过以下命令查看版本：

docker --version 
docker info

docker安装好之后，还要安装nvidia-docker2，nvidia-docker2是NVIDIA推出的一款Docker插件，用于在Docker容器中启用NVIDIA GPU支持。安装包如下：

还是通过 rpm -ivh *.rpm进行安装，安装完之后，重启docker服务，我们就可以启动docker服务，来启动ocr服务了。

vi /etc/docker/daemon.json
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

首先导入OCR服务镜像包：

命令为：docker load -i ocr-xxxxxx.tar.gz

然后通过docker run来启动，找一张单据图片，调用服务测试一下：

识别结果还是可以，下面的表格也是按照结构化数据识别输出了！

docker load

上一篇：群晖DSM7.2 Docker部署seafile12专业版+seadoc+onlyoffice8.1
下一篇：无需公网IP，实现自建NAS远程访问:贝锐花生壳Docker版使用教程

GPU服务器私有化部署OCR服务

相关推荐

C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)

程序员的开源月刊《HelloGitHub》第 71 期

详细介绍一下Redis的Watch机制，可以利用Watch机制来做什么?

假如有100W个用户抢一张票，除了负载均衡办法，怎么支持高并发?

如何将AI助手接入微信（打开ai手机助手）

Java面试必考问题:什么是乐观锁与悲观锁

SparkSQL——DataFrame的创建与使用

redission YYDS spring boot redission 使用

一文带你了解Redis与Memcached? redis与memcached的区别

如何利用Redis进行事务处理呢? 如何利用redis进行事务处理呢英文