pandas数据分析实操案例:本地数据如何上传到云数据库mysql?
wptr33 2025-01-06 15:49 15 浏览
有时,我们希望将本地电脑保存的大量数据上传到云上,也就是保存到第三方数据库里。那么,使用python如何将自己电脑里面的数据,上传到云数据库呢?
这里,以腾讯云提供的免费试用的云数据库MySQL为例,详细地一步步介绍如何将本地电脑保存的2个excel表格的数据,上传到云数据库MySQL里。
一、本地电脑数据简介
在自己的笔记本电脑里有2个xlsx表格数据,表格1有10行3列的数据,表格2有15行3列的数据。我们要将这2个表的全部数据上传保存到云数据库MySQL里。
二、申请免费的云数据库MySQL
1、打开腾讯云的网址(如下所示)
https://cloud.tencent.com/
2、下图所示,搜索框中,输入“免费试用”,回车
3、下图所示,在搜索结果展示的页面,点击“立即体验”
4、下图所示,是点击“立即体验”后的页面,即“试用专区”,勾选“个人认证”、“云数据库 My SQL”,点击“立即试用”
5、点击“立即试用”后,如果没有登录和认证,会出现下面的扫码登录并进行认证的页面。这一步必须完成。按要求做即可。如果已经登录和认证,直接进行下一步。
6、之后,点击“立即试用”后,出现下面页面:全部按默认即可,如果私有网络无,则点击新建,会自动新建。最右下方,显示金额为0,即免费使用云数据库MySQL1个月。
7、点击“立即购买”后,出现下面页面,直接点击“确认支付”即可,之后出现购买成功的页面,如下图。
8、点击购买成功页面上的“进入控制台”,显示如下页面:
如果显示的是下面页面,在红色方框里输入“云数据库MySQL”回车,会出现上图的页面。
之后,在左侧,点击MySQL下面“实例列表”,在正上方的下拉框里选择“上海1”(此处必须与第6步的地域一致)。会出现下面的页面:
之后,点击页面右侧的“管理”,进入下面的页面:
点击“外网地址”的“开启”,会出现外网地址(上图是开启状态)和端口,也就是后面会用到的host和端口。之后点击“一键连接检查”,出现下面页面:
之后,点击“添加访问此实例的外网服务器”,出现下面页面:
在上图中输入自己电脑的外网IP地址(注意不是内网IP地址),例如:218.242.217.91。
如何查看自己电脑的外网IP地址呢?在浏览器地址栏,输入ip.3322.org回车,就可以出现外网IP地址。
之后,点击“开始检查”,出现下面页面:
9、新建数据库账号和密码
如下图红色框依次进行点击:
点击“创建账号”后,出现下面页面:
其中,主机:是指访问云数据库的IP地址,例如上面提到的自己电脑的IP地址,这个IP地址是自己电脑的外网IP地址。主机也可以填入%(表示任何IP地址都可以访问自己的云数据库MySQL)。也可以指定多个主机地址,并以分隔符分隔,分隔符包括换行符、空格和 ; , |。
10、新建一个数据库
点击“数据库管理”,点击“数据库列表”,如下图所示:
点击“创建数据库”,如下图所示:输入刚才新建的账号和密码。
如果点击“登录”后,出现下面的报错:
则点击“修改权限”,选中所有权限即可。
官方地址:https://cloud.tencent.com/document/faq/236/47082
之后,再次点击“创建数据库”,并输入账号和密码,如果通过,进入下面的页面:
点击上方的“新建数据库”,如下图所示:
输入数据库的名称,例如mybooks,如下所示:
之后,点击左上方的下拉三角,选择“mybooks”数据库,点击左侧的“表”,点击“+”,如下图右边所示,即新建表,输入表名book_info,如下所示:
三、在本地电脑使用python连接云数据库MySQL
首先安装 pip install pymysql
之后,输入下面的代码:
import pymysql
host = "sh-cdb-dh0oo42y.sql.tencentcdb.com"
port = 63974
user = "xxx"
passwd = "xxx"
database = "mybooks"
con = pymysql.connect(host=host,port=port, user=user, passwd=passwd,database=database)
cur = con.cursor()
sql = " insert into book_info values('book1',21.3,'sh')"
cur.execute(sql)
1
con.commit()
cur.close()
con.close()
解释:1、上面的host和Port就是申请云数据库得到的host和port,见第2部分的内容。
2、user和passwd就是第2部分申请的数据库账号和密码。
3、database就是刚才新建的mybooks数据库。
4、因为mybooks数据库默认的编码是utf-8,所以pymysql.connect()的参数charset='utf-8'默认就是utf-8,可以不用填写上去。
5、我们使用游标:cur=con.cursort()会得到的一个游标指针。
6、sql变量是SQL语句,即向数据表插入一行数据。
7、cur.execute(sql)是执行SQL语句,向数据表插入一行数据。执行后,返回值1是插入的行数,即向数据表插入了1行数据。
8、con.commit()必须提交,数据才能保存到数据表。
9、最后,关闭游标,关闭连接。
我们检验下,刚才的一行数据是否存入到云数据库了:
如下图所示,在云数据库端,执行SQL查询语句,下方显示了查询的结果,就是我们存入的数据。
以上演示了使用python将本地的一行数据保存到云端的mysql数据库中。是否可以将批量的数据,保存到云端的数据库mybooks中呢?当然是可以的。只要使用SQL的批量插入函数即可。如下所示,我们将表格1的10行数据和表格2的15行数据,全部保存到云端数据库。
import pymysql
from pathlib import Path
import pandas as pd
# 连接
host = "sh-cdb-dh0oo42y.sql.tencentcdb.com"
port = 63974
user = "xxx"
passwd = "xxx"
database = "mybooks"
con = pymysql.connect(host=host,port=port, user=user, passwd=passwd,database=database)
print('已经成功连接!')
# 读取数据并整理数据为数据库表的格式
data = pd.DataFrame()
for file in Path('d:/fqb/3/').glob('*'):
df = pd.read_excel(file)
cols = ['名称','价格','位置']
df = df[cols]
data = pd.concat([data,df])
print('数据类型:')
print(data.dtypes)
print(data.shape)
lb = data.values.tolist()
lb2 = [tuple(lt) for lt in lb]
print(lb2)
print('完成')
# 执行SQL
cur = con.cursor()
sql = "insert into book_info values(%s,%s,%s)"
try:
cur.executemany(sql, lb2)
except pymysql.Error as e:
print('报错:',e)
con.rollback()
con.close()
# 保存数据并关闭
con.commit()
con.close()
cur.close()
print('全部完成')
在云端数据库管理中查询数据插入情况:
我们看到执行结果,数据全部已经插入。但是数据中的中文字符插入后都变成了问号。
# 执行SQL
cur = con.cursor()
sql = "select * from book_info"
try:
cur.execute(sql)
res = cur.fetchall()
print(res)
print(type(res))
except pymysql.Error as e:
print('报错:',e)
con.rollback()
con.close()
# 保存数据并关闭
con.commit()
con.close()
cur.close()
print('完成')
输出结果如下:
也就是,输出结果中文是正常的,尽管在云端服务器上无法显示中文。
相关推荐
- Linux高性能服务器设计
-
C10K和C10M计算机领域的很多技术都是需求推动的,上世纪90年代,由于互联网的飞速发展,网络服务器无法支撑快速增长的用户规模。1999年,DanKegel提出了著名的C10问题:一台服务器上同时...
- 独立游戏开发者常犯的十大错误
-
...
- 学C了一头雾水该咋办?
-
学C了一头雾水该怎么办?最简单的方法就是你再学一遍呗。俗话说熟能生巧,铁杵也能磨成针。但是一味的为学而学,这个好像没什么卵用。为什么学了还是一头雾水,重点就在这,找出为什么会这个样子?1、概念理解不深...
- C++基础语法梳理:inline 内联函数!虚函数可以是内联函数吗?
-
上节我们分析了C++基础语法的const,static以及this指针,那么这节内容我们来看一下inline内联函数吧!inline内联函数...
- C语言实战小游戏:井字棋(三子棋)大战!文内含有源码
-
井字棋是黑白棋的一种。井字棋是一种民间传统游戏,又叫九宫棋、圈圈叉叉、一条龙、三子旗等。将正方形对角线连起来,相对两边依次摆上三个双方棋子,只要将自己的三个棋子走成一条线,对方就算输了。但是,有很多时...
- C++语言到底是不是C语言的超集之一
-
C与C++两个关系亲密的编程语言,它们本质上是两中语言,只是C++语言设计时要求尽可能的兼容C语言特性,因此C语言中99%以上的功能都可以使用C++完成。本文探讨那些存在于C语言中的特性,但是在C++...
- 在C++中,如何避免出现Bug?
-
C++中的主要问题之一是存在大量行为未定义或对程序员来说意外的构造。我们在使用静态分析器检查各种项目时经常会遇到这些问题。但正如我们所知,最佳做法是在编译阶段尽早检测错误。让我们来看看现代C++中的一...
- ESL-通过事件控制FreeSWITCH
-
通过事件提供的最底层控制机制,允许我们有效地利用工具箱,适时选择使用其中的单个工具。FreeSWITCH是一个核心交换与混合矩阵,它周围有几十个模块提供各种功能特性。我们完全控制了所有的即时信息,这些...
- 物理老师教你学C++语言(中篇)
-
一、条件语句与实验判断...
- C语言入门指南
-
当然!以下是关于C语言入门编程的基础介绍和入门建议,希望能帮你顺利起步:C语言入门指南...
- C++选择结构,让程序自动进行决策
-
什么是选择结构?正常的程序都是从上至下顺序执行,这就是顺序结构...
- C++特性使用建议
-
1.引用参数使用引用替代指针且所有不变的引用参数必须加上const。在C语言中,如果函数需要修改变量的值,参数必须为指针,如...
- C++程序员学习Zig指南(中篇)
-
1.复合数据类型结构体与方法的对比C++类:...
- 研一自学C++啃得动吗?
-
研一自学C++啃得动吗?在开始前我有一些资料,是我根据网友给的问题精心整理了一份「C++的资料从专业入门到高级教程」,点个关注在评论区回复“888”之后私信回复“888”,全部无偿共享给大家!!!个人...
- C++关键字介绍
-
下表列出了C++中的常用关键字,这些关键字不能作为变量名或其他标识符名称。1、autoC++11的auto用于表示变量的自动类型推断。即在声明变量的时候,根据变量初始值的类型自动为此变量选择匹配的...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
因果推断Matching方式实现代码 因果推断模型
-
git pull命令使用实例 git pull--rebase
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
面试官:git pull是哪两个指令的组合?
-
git 执行pull错误如何撤销 git pull fail
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git pull 之后本地代码被覆盖 解决方案
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mysql max (33)
- vba instr (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)