Python 开发工程师必会的 5 个系统命令操作库
wptr33 2025-06-15 19:46 22 浏览
当我们需要编写自动化脚本、部署工具、监控程序时,熟练操作系统命令几乎是必备技能。今天就来聊聊我在实际项目中高频使用的 5 个系统命令操作库,这些可都是能让你效率翻倍的 "瑞士军刀"。
一、subprocess:全能型系统交互大师
为什么必须掌握?
还记得用老旧的 os.system 踩过的坑吗?无法捕获子进程输出、错误流混乱、管道操作支持差... 直到遇到 subprocess,这些问题统统迎刃而解。作为 Python 官方推荐的进程管理库,它几乎封装了所有系统交互功能。
核心功能解析
方法 | 核心作用 | 典型场景 |
run() | 执行命令并等待完成 | 简单命令执行 |
Popen() | 创建子进程并获取句柄 | 复杂 IO 操作(管道、文件) |
call() | 执行命令并返回状态码 | 只需判断执行是否成功 |
check_output() | 获取命令标准输出 | 需要解析命令返回结果 |
实际应用场景:文件批量重命名
import subprocess
def batch_rename(directory, old_ext, new_ext):
# 调用系统find命令查找指定扩展名文件
find_cmd = f"find {directory} -type f -name '*.{old_ext}'"
files = subprocess.check_output(find_cmd, shell=True, text=True).splitlines()
for file in files:
new_file = file.rsplit('.', 1)[0] + f".{new_ext}"
mv_cmd = f"mv {file} {new_file}"
# 执行移动命令并检查错误
result = subprocess.run(mv_cmd, shell=True, capture_output=True, text=True)
if result.returncode != 0:
print(f"重命名 {file} 失败: {result.stderr}")
print("批量重命名完成!")
# 使用示例
batch_rename("/path/to/files", "txt", "md")
进阶技巧
- 通过stdin=subprocess.PIPE实现命令行交互(如输入密码)
- 利用universal_newlines=True统一处理文本输出
- 设置timeout参数避免子进程卡死
二、os:系统级操作的基础门面
每天都在用的 "隐形帮手"
记得去年给实习生做代码评审,发现他写文件路径拼接居然用字符串拼接,结果在 Windows 和 Linux 上频繁出错。这时候才意识到 os 模块的重要性 —— 它提供了跨平台的系统操作接口,是所有系统交互的基础。
常用功能分类
文件系统操作
import os
# 路径处理
print(os.path.join("/user", "docs", "file.txt")) # 跨平台路径拼接
print(os.path.abspath("relative_path")) # 获取绝对路径
print(os.path.splitext("file.tar.gz")) # 分离扩展名(处理压缩包必备)
# 文件操作
os.makedirs("new_dir", exist_ok=True) # 递归创建目录
os.rename("old.txt", "new.txt") # 重命名文件
os.chmod("script.sh", 0o755) # 修改文件权限
进程管理
print(os.getpid()) # 获取当前进程ID
os.kill(pid, signal.SIGTERM) # 发送信号终止进程
避坑指南
- 永远使用os.path系列函数处理路径,不要手动拼接
- 文件操作前务必检查权限和路径存在性(os.access()和os.path.exists())
- 处理二进制文件时注意os.open()的 flags 参数
三、shutil:文件与目录的搬运专家
比 os 更上层的抽象
数据迁移、复制粘贴,一行就能搞定。这个库专门针对文件和目录操作进行了高级封装,堪称 "搬运界的特斯拉"。
核心功能对比
功能 | os 模块实现 | shutil 实现 |
复制文件 | open () + write () 循环 | shutil.copy2() |
复制目录 | 递归遍历 + 复制 | shutil.copytree() |
文件压缩 | 需调用 zipfile 等库 | shutil.make_archive() |
磁盘空间 | 需组合多个系统调用 | shutil.disk_usage() |
实际应用场景:跨平台文件同步
import shutil
import time
def sync_folders(source, destination):
"""双向同步两个文件夹内容"""
# 复制新增文件和更新文件
shutil.copytree(source, destination, dirs_exist_ok=True)
# 删除目标中多余文件
for root, dirs, files in os.walk(destination):
relative_path = os.path.relpath(root, destination)
source_root = os.path.join(source, relative_path)
for file in files:
source_file = os.path.join(source_root, file)
dest_file = os.path.join(root, file)
if not os.path.exists(source_file):
os.remove(dest_file)
print(f"删除多余文件: {dest_file}")
print(f"同步完成,最后更新时间: {time.ctime()}")
# 同步代码仓库
sync_folders("/src/repo", "/backup/repo")
冷知识
- shutil.move()会自动处理跨文件系统的移动(底层调用 rename 或复制 + 删除)
- shutil.rmtree()可以删除非空目录,但要注意权限问题(建议先检查)
四、tempfile:临时文件的优雅管家
告别 "垃圾文件" 噩梦
记得刚工作时写临时文件,直接用open("temp.txt", "w"),结果忘记删除导致服务器堆满垃圾文件。直到学会用 tempfile,才真正实现了临时文件的自动化管理。
三种使用模式对比
模式 | 创建方式 | 特点 | 适用场景 |
临时文件 | TemporaryFile() | 内存中创建(默认),自动删除 | 临时数据处理 |
命名文件 | NamedTemporaryFile() | 磁盘创建,可指定后缀名 | 需要外部程序访问 |
临时目录 | TemporaryDirectory() | 自动创建 / 删除目录 | 临时工作空间 |
实际应用场景:安全生成临时脚本
import tempfile
import subprocess
def create_temp_script(content):
with tempfile.NamedTemporaryFile(mode='w', suffix='.sh', delete=False) as f:
f.write(content)
script_path = f.name
# 添加执行权限
os.chmod(script_path, 0o755)
return script_path
# 生成安装脚本并执行
install_script = """
#!/bin/bash
echo "开始安装..."
apt-get update -y
apt-get install python3 -y
"""
script_path = create_temp_script(install_script)
subprocess.run([script_path], check=True)
os.unlink(script_path) # 手动删除(或依赖delete=True自动删除)
注意事项
- 使用with语句确保资源自动释放
- 敏感数据不要写入临时文件(内存模式更安全)
- 跨平台时注意后缀名和文件模式
五、psutil:系统监控的千里眼
从运维到开发的必备技能
它能像 Linux 的 top 命令一样获取各种系统信息,而且跨平台支持良好,简直是开发运维一体化的桥梁。
核心监控指标
import psutil
# 进程信息
process = psutil.Process()
print(f"进程名: {process.name()}")
print(f"内存占用: {process.memory_percent()}%")
print(f"CPU核心数: {process.cpu_affinity()}")
# 系统信息
print(f"总内存: {psutil.virtual_memory().total / 1024**3:.2f} GB")
print(f"磁盘分区: {psutil.disk_partitions()}")
print(f"网络连接: {len(psutil.net_connections())} 个")
实际应用场景:内存泄漏监控
import time
import psutil
def monitor_memory(pid, interval=5):
process = psutil.Process(pid)
while True:
mem = process.memory_info().rss / 1024**2 # MB
print(f"当前内存占用: {mem:.2f} MB")
if mem > 1024: # 超过1GB触发报警
print("警告:内存占用过高!")
time.sleep(interval)
# 监控当前进程
monitor_memory(os.getpid())
进阶应用
- 实现进程树可视化(递归遍历子进程)
- 监控网络流量变化(net_io_counters)
- 追踪文件句柄泄漏(process.open_files())
这五个库就像 Python 系统操作的 "五岳":subprocess 是泰山,稳坐核心;os 是华山,基础险要;shutil 是衡山,灵活多变;tempfile 是恒山,小巧精致;psutil 是嵩山,博大精深。建议大家按照这个路径学习:
- 先用 os 和 shutil 掌握基础文件操作
- 用 subprocess 实现复杂命令交互
- 用 tempfile 处理临时资源管理
- 最后用 psutil 打通系统监控任督二脉
在实际项目中,我经常把它们组合使用:比如用 subprocess 执行备份命令,shutil 处理文件迁移,psutil 监控备份进程的资源消耗,tempfile 存储临时日志。这种组合拳能解决 90% 以上的系统交互问题。
当然,系统编程永远有新的挑战,比如异步进程处理(asyncio.subprocess)、更精细的资源控制(cgroups)等。但掌握这五个库,已经能让你在日常开发中应对自如。
相关推荐
- MySQL进阶五之自动读写分离mysql-proxy
-
自动读写分离目前,大量现网用户的业务场景中存在读多写少、业务负载无法预测等情况,在有大量读请求的应用场景下,单个实例可能无法承受读取压力,甚至会对业务产生影响。为了实现读取能力的弹性扩展,分担数据库压...
- 3分钟短文 | Laravel SQL筛选两个日期之间的记录,怎么写?
-
引言今天说一个细分的需求,在模型中,或者使用laravel提供的EloquentORM功能,构造查询语句时,返回位于两个指定的日期之间的条目。应该怎么写?本文通过几个例子,为大家梳理一下。学习时...
- 一文由浅入深带你完全掌握MySQL的锁机制原理与应用
-
本文将跟大家聊聊InnoDB的锁。本文比较长,包括一条SQL是如何加锁的,一些加锁规则、如何分析和解决死锁问题等内容,建议耐心读完,肯定对大家有帮助的。为什么需要加锁呢?...
- 验证Mysql中联合索引的最左匹配原则
-
后端面试中一定是必问mysql的,在以往的面试中好几个面试官都反馈我Mysql基础不行,今天来着重复习一下自己的弱点知识。在Mysql调优中索引优化又是非常重要的方法,不管公司的大小只要后端项目中用到...
- MySQL索引解析(联合索引/最左前缀/覆盖索引/索引下推)
-
目录1.索引基础...
- 你会看 MySQL 的执行计划(EXPLAIN)吗?
-
SQL执行太慢怎么办?我们通常会使用EXPLAIN命令来查看SQL的执行计划,然后根据执行计划找出问题所在并进行优化。用法简介...
- MySQL 从入门到精通(四)之索引结构
-
索引概述索引(index),是帮助MySQL高效获取数据的数据结构(有序),在数据之外,数据库系统还维护者满足特定查询算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构...
- mysql总结——面试中最常问到的知识点
-
mysql作为开源数据库中的榜一大哥,一直是面试官们考察的重中之重。今天,我们来总结一下mysql的知识点,供大家复习参照,看完这些知识点,再加上一些边角细节,基本上能够应付大多mysql相关面试了(...
- mysql总结——面试中最常问到的知识点(2)
-
首先我们回顾一下上篇内容,主要复习了索引,事务,锁,以及SQL优化的工具。本篇文章接着写后面的内容。性能优化索引优化,SQL中索引的相关优化主要有以下几个方面:最好是全匹配。如果是联合索引的话,遵循最...
- MySQL基础全知全解!超详细无废话!轻松上手~
-
本期内容提醒:全篇2300+字,篇幅较长,可搭配饭菜一同“食”用,全篇无废话(除了这句),干货满满,可收藏供后期反复观看。注:MySQL中语法不区分大小写,本篇中...
- 深入剖析 MySQL 中的锁机制原理_mysql 锁详解
-
在互联网软件开发领域,MySQL作为一款广泛应用的关系型数据库管理系统,其锁机制在保障数据一致性和实现并发控制方面扮演着举足轻重的角色。对于互联网软件开发人员而言,深入理解MySQL的锁机制原理...
- Java 与 MySQL 性能优化:MySQL分区表设计与性能优化全解析
-
引言在数据库管理领域,随着数据量的不断增长,如何高效地管理和操作数据成为了一个关键问题。MySQL分区表作为一种有效的数据管理技术,能够将大型表划分为多个更小、更易管理的分区,从而提升数据库的性能和可...
- MySQL基础篇:DQL数据查询操作_mysql 查
-
一、基础查询DQL基础查询语法SELECT字段列表FROM表名列表WHERE条件列表GROUPBY分组字段列表HAVING分组后条件列表ORDERBY排序字段列表LIMIT...
- MySql:索引的基本使用_mysql索引的使用和原理
-
一、索引基础概念1.什么是索引?索引是数据库表的特殊数据结构(通常是B+树),用于...
- 一周热门
-
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
程序员的开源月刊《HelloGitHub》第 71 期
-
详细介绍一下Redis的Watch机制,可以利用Watch机制来做什么?
-
假如有100W个用户抢一张票,除了负载均衡办法,怎么支持高并发?
-
Java面试必考问题:什么是乐观锁与悲观锁
-
如何将AI助手接入微信(打开ai手机助手)
-
redission YYDS spring boot redission 使用
-
SparkSQL——DataFrame的创建与使用
-
一文带你了解Redis与Memcached? redis与memcached的区别
-
如何利用Redis进行事务处理呢? 如何利用redis进行事务处理呢英文
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)