Products
产品
Intro
这里记录我亲手做出来的东西。
我要着手做自己的产品，或许是下一个 web，下一个 app 亦或是下一个游戏，但定会拿出有限的时间与精力来投入其中。 我的愿景就是通过自己的产品或服务来给社会提供独一无二、不可或缺的价值，而不是老老实实上班。 目前正在有想法的是当前的个人博客网站与一个 ...app，app 的功能就先不透露了，尽情期待吧。just do it.
01Real-time Data Warehouse
电商实时数据仓库
持续开发中基于 gmall2024 电商场景
一套基于 Apache Flink 的电商实时数仓，通过 Flink CDC 实时采集业务库变更，按 DIM/DWD/DWS 分层加工，并对外提供实时大屏指标服务。
这是我独立搭建的一套电商实时数据仓库，以 gmall2024 电商业务为场景，目标是把传统 T+1 的离线数仓搬到实时链路上——让交易、流量、用户等核心指标做到近实时更新。
整个项目以 Maven 多模块组织，用 Flink 1.17 做流式计算：通过 Flink CDC 实时捕获 MySQL 业务库 binlog，经 Kafka 作为数据总线串联各层；维度层（DIM）落地到 HBase 并用 Redis 做维表旁路缓存，汇总层（DWS）结果写入 Doris 供 OLAP 查询。
最上层还有一个基于 Spring Boot 的数据服务模块（publisher），把 GMV、各省交易额等指标以接口形式暴露出来，支撑实时可视化大屏。
Highlights
- —Flink CDC 实时采集 MySQL binlog，替代传统离线 T+1 处理
- —按 DIM / DWD / DWS 分层建模：DWD 覆盖下单、支付、退款、加购、互动评论等明细，DWS 沉淀 SKU 下单、省份交易额、流量 PV、用户登录等多个聚合窗口
- —DIM 维度层存 HBase + Redis 旁路缓存，DWS 汇总结果写入 Doris
- —Spring Boot 数据服务层对外提供 GMV、各省交易额等实时大屏接口
Apache Flink 1.17Flink CDCKafkaHBaseDorisRedisSpring BootJava
更多产品正在开发中——包括我正在构思的 App 与其他个人项目。 敬请期待，这里会随着我做出的每一件新东西不断生长。