一文掌握 DuckDB 时间序列分析:窗口函数实战详解
wptr33 2025-07-28 00:38 1 浏览
uckDB 支持基于时间的窗口分析,包括固定窗口(tumbling)、跳跃窗口(hopping)和滑动窗口(sliding)等不同语义的窗口函数。在本文中,我们将通过实际案例 —— 对阿姆斯特丹中央车站的列车运行数据进行趋势和异常检测 —— 来演示这些窗口函数的使用方式。
引言:为什么时间窗口分析很重要?
在数据平台中,我们通常将数据分为两类:维度数据(Dimension)和事实数据(Fact)。维度数据描述的是实体信息,例如名称、地址、序列号等;而事实数据则代表与这些实体相关的事件,比如点击、销售记录、银行交易、IoT 设备读取值等。
事实数据往往包含时间戳(timestamp)字段,用于标识事件发生或被观察到的时间。在流处理平台中,带时间戳的数据通常需要通过流式窗口函数来划分时间片段,以便进行有序计算。
但在实际分析中,我们也经常希望对静态的时间戳数据应用类似的窗口划分逻辑,以提取出趋势、汇总和异常。本文将基于 DuckDB 展示如何使用流式窗口函数对阿姆斯特丹中央车站的列车服务数据进行时间分析,识别高峰时段、服务中断等关键指标。
在本文的实现中,我们将使用一个已建立的 DuckDB 数据库。该项目基于“Rijden de Treinen”(火车运行了吗?)应用的开放数据。
我们首先在任意 DuckDB 会话中,挂载存储位置中的该数据库:
固定窗口(Tumbling Windows)
固定窗口是具有固定大小的时间区间,格式为左闭右开区间 [left-closed, right-open),用于在某个时间单位(如年、日、小时等)上计算汇总信息。
固定窗口还常用于将(不规则的)事实数据转化为时间序列数据,通过在固定时间间隔内进行聚合实现这一目的。
实现固定窗口的一种方式是使用 date_trunc 函数,该函数会将时间戳截断到指定的精度。
例如,在下面的示例中,我们统计了 2024 年中每小时和每天的列车服务次数:
另一种方法是使用time_bucket函数,该函数将从指定的偏移量开始,将时间戳截断为指定的桶宽度。例如,我们计算每刻钟的服务数量,从以下位置开始00:
跳跃窗口(Hopping Windows)
跳跃窗口是固定大小的时间间隔,但与滚动窗口相反,跳跃窗口是重叠的。跳跃窗口的定义如下:
- 窗口开始时间之间应经过多少时间,称为跳跃大小;
- 一个窗口应该包含多少时间,称为窗口大小。
跳跃窗口的一个用例是确定 2024 年内最繁忙的五个 15 分钟时段(窗口大小),每 5 分钟(跳跃大小)开始一次。我们首先为所有感兴趣的日期生成人工跳跃窗口:
然后,我们将上述间隔与火车服务数据结合起来,以计算每个[左闭,右开]间隔的服务数量:
滑动窗口(Sliding Windows)
滑动窗口是重叠的区间,但与跳跃窗口相比,滑动窗口是根据所分析的时间列动态生成的,因此会在插入新记录时发生变化。滑动窗口可以通过使用RANGE窗口框架来实现:
会话窗口(Session Windows)
会话窗口将时间上相近发生的事件分组,并以不活动间隙分隔。当两个事件之间的时间间隔超过定义的超时值时,将启动新的会话。会话窗口最常见的用例是检测带时间戳的数据中的间隙。
我们继续进行数据分析,找出阿姆斯特丹中央火车站没有列车到达/出发的时间段超过10分钟的日期。在此上下文中,会话窗口是指列车服务运行且服务停顿间隔不超过10分钟的时间段。
lag我们首先使用窗口函数计算每条记录的上一次服务时间。我们上面观察到,夜间几乎没有交通,因此我们只包括上午 6 点到晚上 11 点之间的服务:
在上面的查询中,我们还计算了当前服务与上一次服务之间的间隔(以分钟为单位),其中date_diff。如果没有上一次服务,则该列将为0,表示当天的第一次服务会话.
然后,我们通过将经过的分钟数与超时时间(在我们的例子中为 10 分钟)进行比较,标记当前记录是否与前一个记录位于同一会话中:
通过对属性应用日级移动总和,new_session我们为会话分配一个标识符:
我们现在可以检索在 18 小时服务时间(上午 6 点到晚上 11 点之间的小时数)内至少有 10 分钟不活动间隔的日期:
2024年4月29日肯定异情况!我们观察到,在18个小时的运营期间,出现了12个时段窗口,这意味着至少有10次,在10分钟内没有列车到达或出发。原因可能是当天没有常规列车服务。而且,阿姆斯特丹和乌得勒支之间确实开始了维护工作。
上述内容演示了如何在 DuckDB 中对带时间戳的历史数据实现流窗口函数,为时间(序列)数据分析提供了一个起点。
相关推荐
- HIVE 窗口函数详解(hive常用开窗函数)
-
什么是窗口函数窗口函数是SQL中一类特别的函数。和聚合函数相似,窗口函数的输入也是多行记录。不同的是,聚合函数的作用于由GROUPBY子句聚合的组,而窗口函数则作用于一个窗口,这里,窗口...
- SQL高效使用20招:数据分析师必备技巧
-
基础优化技巧善用EXPLAIN分析执行计划EXPLAINSELECT*FROMordersWHEREorder_date>'2024-01-01';...
- 答记者问之 - Redis 的高效架构与应用模式解析
-
问:极客程序员你好,请帮我讲一讲redis答:redis主要涉及以下核心,我来一一揭幕Redis的高效架构与应用模式解析...
- MySQL通过累计求新增(mysql新增表字段语句)
-
前两天的那篇内容《MySQL递归实现单列分列成多行》...
- 一文讲懂SQL窗口函数 大厂必考知识点
-
大家好,我是宁一。今天是我们的第24课:窗口函数。...
- 圣诞快乐:用GaussDB T 绘制一颗圣诞树,兼论高斯数据库语法兼容
-
转眼就是圣诞的节日,祝大家节日快乐。用GaussDBT(也就是GaussDB100)绘制一棵圣诞树,纯国产,更喜庆。话不多说,上图:SQL如下:SELECTCASEWHENENMOTE...
- Minitab:功能强大的质量管理、统计分析及统计图形软件
-
一、Minitab简介Minitab软件是为质量改善、教育和研究应用领域提供统计软件和服务的先导,是全球领先的质量管理和六西格玛实施软件工具及持续质量改进的良好工具软件,她具有强大的功能和简易的可视化...
- 如何熟练使用SQL查询(如何熟练使用sql查询内容)
-
要熟练使用SQL查询(StructuredQueryLanguage),你需要系统地从语法入门,到实战练习,再到性能优化与多表查询的掌握。下面是一条循序渐进、实战驱动的学习路径:第一阶段:S...
- SAP SE38如何在多个系统间同步代码
-
上一篇文章写了如何在多个系统之间同步开发对象:多套SAPERP之间一键同步ABAP开发内容,有兄弟问有没有简单办法同步SE38程序代码的,因为使用请求的方式同步代码有点小题大做了。...
- 技术栈:刷了百道SQL题,还是不会用?你应该这样补短板
-
这是来自用户的提问,也是很多人遇到的困惑:...
- mysql窗口函数为了解决更加复杂的问题
-
为了解决复杂问题的窗口函数我们先讲一下窗口函数是什么窗口和普通的函数作用相同在不同列上进行查询和返回比如我们有如下的表...
- MariaDB开窗函数(开窗函数 mysql)
-
在使用GROUPBY子句时,总是需要将筛选的所有数据进行分组操作,它的分组作用域是整张表。分组以后,为每个组只返回一行。而使用基于窗口的操作,类似于分组,但却可以对这些"组"(即窗口...
- 一篇文章搞定MySQL中的窗口函数(mysql常用的窗口函数)
-
我是孙斌,北理数学系毕业,分享数据分析相关知识,点击右上角“关注”,学习更多数据分析知识。在MySQL中,分组groupby一般和聚合函数连用,如groupby+sum,这样能够得到每个组的总和,...
- 一周热门
-
-
因果推断Matching方式实现代码 因果推断模型
-
C# 13 和 .NET 9 全知道 :13 使用 ASP.NET Core 构建网站 (1)
-
git pull命令使用实例 git pull--rebase
-
git 执行pull错误如何撤销 git pull fail
-
面试官:git pull是哪两个指令的组合?
-
git pull 和git fetch 命令分别有什么作用?二者有什么区别?
-
git fetch 和git pull 的异同 git中fetch和pull的区别
-
git pull 之后本地代码被覆盖 解决方案
-
还可以这样玩?Git基本原理及各种骚操作,涨知识了
-
git命令之pull git.pull
-
- 最近发表
- 标签列表
-
- git pull (33)
- git fetch (35)
- mysql insert (35)
- mysql distinct (37)
- concat_ws (36)
- java continue (36)
- jenkins官网 (37)
- mysql 子查询 (37)
- python元组 (33)
- mybatis 分页 (35)
- vba split (37)
- redis watch (34)
- python list sort (37)
- nvarchar2 (34)
- mysql not null (36)
- hmset (35)
- python telnet (35)
- python readlines() 方法 (36)
- munmap (35)
- docker network create (35)
- redis 集合 (37)
- python sftp (37)
- setpriority (34)
- c语言 switch (34)
- git commit (34)