pandas数据分析实操案例:本地数据如何上传到云数据库mysql?
wptr33 2025-01-06 15:49 22 浏览
有时,我们希望将本地电脑保存的大量数据上传到云上,也就是保存到第三方数据库里。那么,使用python如何将自己电脑里面的数据,上传到云数据库呢?
这里,以腾讯云提供的免费试用的云数据库MySQL为例,详细地一步步介绍如何将本地电脑保存的2个excel表格的数据,上传到云数据库MySQL里。
一、本地电脑数据简介
在自己的笔记本电脑里有2个xlsx表格数据,表格1有10行3列的数据,表格2有15行3列的数据。我们要将这2个表的全部数据上传保存到云数据库MySQL里。
二、申请免费的云数据库MySQL
1、打开腾讯云的网址(如下所示)
https://cloud.tencent.com/
2、下图所示,搜索框中,输入“免费试用”,回车
3、下图所示,在搜索结果展示的页面,点击“立即体验”
4、下图所示,是点击“立即体验”后的页面,即“试用专区”,勾选“个人认证”、“云数据库 My SQL”,点击“立即试用”
5、点击“立即试用”后,如果没有登录和认证,会出现下面的扫码登录并进行认证的页面。这一步必须完成。按要求做即可。如果已经登录和认证,直接进行下一步。
6、之后,点击“立即试用”后,出现下面页面:全部按默认即可,如果私有网络无,则点击新建,会自动新建。最右下方,显示金额为0,即免费使用云数据库MySQL1个月。
7、点击“立即购买”后,出现下面页面,直接点击“确认支付”即可,之后出现购买成功的页面,如下图。
8、点击购买成功页面上的“进入控制台”,显示如下页面:
如果显示的是下面页面,在红色方框里输入“云数据库MySQL”回车,会出现上图的页面。
之后,在左侧,点击MySQL下面“实例列表”,在正上方的下拉框里选择“上海1”(此处必须与第6步的地域一致)。会出现下面的页面:
之后,点击页面右侧的“管理”,进入下面的页面:
点击“外网地址”的“开启”,会出现外网地址(上图是开启状态)和端口,也就是后面会用到的host和端口。之后点击“一键连接检查”,出现下面页面:
之后,点击“添加访问此实例的外网服务器”,出现下面页面:
在上图中输入自己电脑的外网IP地址(注意不是内网IP地址),例如:218.242.217.91。
如何查看自己电脑的外网IP地址呢?在浏览器地址栏,输入ip.3322.org回车,就可以出现外网IP地址。
之后,点击“开始检查”,出现下面页面:
9、新建数据库账号和密码
如下图红色框依次进行点击:
点击“创建账号”后,出现下面页面:
其中,主机:是指访问云数据库的IP地址,例如上面提到的自己电脑的IP地址,这个IP地址是自己电脑的外网IP地址。主机也可以填入%(表示任何IP地址都可以访问自己的云数据库MySQL)。也可以指定多个主机地址,并以分隔符分隔,分隔符包括换行符、空格和 ; , |。
10、新建一个数据库
点击“数据库管理”,点击“数据库列表”,如下图所示:
点击“创建数据库”,如下图所示:输入刚才新建的账号和密码。
如果点击“登录”后,出现下面的报错:
则点击“修改权限”,选中所有权限即可。
官方地址:https://cloud.tencent.com/document/faq/236/47082
之后,再次点击“创建数据库”,并输入账号和密码,如果通过,进入下面的页面:
点击上方的“新建数据库”,如下图所示:
输入数据库的名称,例如mybooks,如下所示:
之后,点击左上方的下拉三角,选择“mybooks”数据库,点击左侧的“表”,点击“+”,如下图右边所示,即新建表,输入表名book_info,如下所示:
三、在本地电脑使用python连接云数据库MySQL
首先安装 pip install pymysql
之后,输入下面的代码:
import pymysql
host = "sh-cdb-dh0oo42y.sql.tencentcdb.com"
port = 63974
user = "xxx"
passwd = "xxx"
database = "mybooks"
con = pymysql.connect(host=host,port=port, user=user, passwd=passwd,database=database)
cur = con.cursor()
sql = " insert into book_info values('book1',21.3,'sh')"
cur.execute(sql)
1
con.commit()
cur.close()
con.close()
解释:1、上面的host和Port就是申请云数据库得到的host和port,见第2部分的内容。
2、user和passwd就是第2部分申请的数据库账号和密码。
3、database就是刚才新建的mybooks数据库。
4、因为mybooks数据库默认的编码是utf-8,所以pymysql.connect()的参数charset='utf-8'默认就是utf-8,可以不用填写上去。
5、我们使用游标:cur=con.cursort()会得到的一个游标指针。
6、sql变量是SQL语句,即向数据表插入一行数据。
7、cur.execute(sql)是执行SQL语句,向数据表插入一行数据。执行后,返回值1是插入的行数,即向数据表插入了1行数据。
8、con.commit()必须提交,数据才能保存到数据表。
9、最后,关闭游标,关闭连接。
我们检验下,刚才的一行数据是否存入到云数据库了:
如下图所示,在云数据库端,执行SQL查询语句,下方显示了查询的结果,就是我们存入的数据。
以上演示了使用python将本地的一行数据保存到云端的mysql数据库中。是否可以将批量的数据,保存到云端的数据库mybooks中呢?当然是可以的。只要使用SQL的批量插入函数即可。如下所示,我们将表格1的10行数据和表格2的15行数据,全部保存到云端数据库。
import pymysql
from pathlib import Path
import pandas as pd
# 连接
host = "sh-cdb-dh0oo42y.sql.tencentcdb.com"
port = 63974
user = "xxx"
passwd = "xxx"
database = "mybooks"
con = pymysql.connect(host=host,port=port, user=user, passwd=passwd,database=database)
print('已经成功连接!')
# 读取数据并整理数据为数据库表的格式
data = pd.DataFrame()
for file in Path('d:/fqb/3/').glob('*'):
df = pd.read_excel(file)
cols = ['名称','价格','位置']
df = df[cols]
data = pd.concat([data,df])
print('数据类型:')
print(data.dtypes)
print(data.shape)
lb = data.values.tolist()
lb2 = [tuple(lt) for lt in lb]
print(lb2)
print('完成')
# 执行SQL
cur = con.cursor()
sql = "insert into book_info values(%s,%s,%s)"
try:
cur.executemany(sql, lb2)
except pymysql.Error as e:
print('报错:',e)
con.rollback()
con.close()
# 保存数据并关闭
con.commit()
con.close()
cur.close()
print('全部完成')
在云端数据库管理中查询数据插入情况:
我们看到执行结果,数据全部已经插入。但是数据中的中文字符插入后都变成了问号。
# 执行SQL
cur = con.cursor()
sql = "select * from book_info"
try:
cur.execute(sql)
res = cur.fetchall()
print(res)
print(type(res))
except pymysql.Error as e:
print('报错:',e)
con.rollback()
con.close()
# 保存数据并关闭
con.commit()
con.close()
cur.close()
print('完成')
输出结果如下:
也就是,输出结果中文是正常的,尽管在云端服务器上无法显示中文。
相关推荐
- Linux文件系统操作常用命令(linux文件内容操作命令)
-
在Linux系统中,有一些常用的文件系统操作命令,以下是这些命令的介绍和作用:#切换目录,其中./代表当前目录,../代表上一级目录cd#查看当前目录里的文件和文件夹ls#...
- 别小看tail 命令,它难倒了技术总监
-
我把自己以往的文章汇总成为了Github,欢迎各位大佬star...
- lnav:基于 Linux 的高级控制台日志文件查看器
-
lnav是一款开源的控制台日志文件查看器,专为Linux和Unix-like系统设计。它通过自动检测日志文件的格式,提取时间戳、日志级别等关键信息,并将多个日志文件的内容按时间顺序合并显示,...
- 声明式与命令式代码(声明模式和命令模式)
-
编程范式中的术语和差异信不信由你,你可能已经以开发人员的身份使用了多种编程范例。因为没有什么比用编程理论招待朋友更有趣的了,所以这篇文章可以帮助您认识代码中的流行范例。命令式编程命令式编程是我们从As...
- linux中的常用命令(linux常用命令和作用)
-
linux中的常用命令linux中的命令统称shell命令shell是一个命令行解释器,将用户命令解析为操作系统所能理解的指令,实现用户与操作系统的交互shell终端:我们平时输入命令,执行程序的那个...
- 提高工作效率的--Linux常用命令,能够决解95%以上的问题
-
点击上方关注,第一时间接受干货转发,点赞,收藏,不如一次关注评论区第一条注意查看回复:Linux命令获取linux常用命令大全pdf+Linux命令行大全pdf...
- 如何限制他人操作自己的电脑?(如何控制别人的电脑不让发现)
-
这段时间,小猪罗志祥正处于风口浪尖,具体是为啥?还不知道的小伙伴赶紧去补一下最近的娱乐圈八卦~简单来说,就是我们的小罗同事,以自己超强的体力,以及超强的时间管理能力,重新定义了「多人运动」的含义,重新...
- 最通俗易懂的命令模式讲解(命令模式百科)
-
我们先不讲什么是命令模式,先通过一个场景来引出命令模式,看看命令模式能解决什么样的问题。现在有一个渣男张三,他有还几个女朋友,你现在是不是还是单身狗,你就说你气不气?然后他需要每天分别叫几个女朋友起床...
- 互联网大厂后端必看!Spring Boot 中Runtime执行与停止命令?
-
你是否曾在使用SpringBoot开发项目时,遇到需要执行系统命令的场景?比如调用脚本进行文件处理,又或是启动外部程序?很多后端开发人员会使用Processexec=Runtime.get...
- Linux 常用命令(linux常用的20个命令面试)
-
日志排查类操作命令...
- Java字节码指令:if_icmpgt(0xA3)(java字节码使用的汇编语言)
-
if_icmpgt是Java字节码中的一条条件跳转指令,其全称是"IfIntegerCompareGreaterThan"。它用于比较两个整数值的大小。如果栈顶的第一个...
- 外贸干货|如何增加领英的曝光量和询盘
-
#跨境电商#...
- golang执行linux命令(golang调用shell脚本)
-
需求需要通过openssl生成rsa秘钥,然后保存该秘钥。代码实例packagemainimport("io/ioutil""bytes"&...
- LINUX磁盘挂载(linux磁盘挂载到windows)
-
1、使用root用户查看磁盘挂载情况:fdisk-l2、使用df查看当前磁盘挂载情况,根据和fdisk-l的结果进行对比,查看还有那些磁盘未使用3、挂载:mount磁盘挂载路径...
- Linux命令学习——nl命令(linux ln命令的使用)
-
nl命令主要功能为每一个文件添加行号,每一个输入的文件添加行号后发送到标准输出。当没有文件或文件为-时,读取标准输入...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)