21讲吃透实时流计算,攻克实时流计算难点,掌握大数据未来

lazy - 21讲吃透实时流计算,攻克实时流计算难点,掌握大数据未来

课程简介

这几年,随着越来越多的业务对数据的实时性提出了高要求,实时流计算技术变得越来越火,阿里、字节、京东等互联网大厂都在用它来处理用户兴趣分析,实时异常检测、在线反欺诈和金融风控等实时业务。

然而,想要真正搞懂并会运用实时流计算并不容易,NIO和异步编程、高并发编程、分布式处理、实时算法开发……这些都是阻碍你掌握实时流计算的拦路虎。

你会学到什么?

为了帮你攻克相关技术难点,专栏给你设计了一条系统、高效的学习路径,共四个模块,从“系统架构”和“实时算法”两方面入手,由浅入深、自底而上带你扎实掌握实时流计算。

① 模块一:实时流计算入门
这部分会介绍流计算系统的整体架构和使用场景,以及入门需掌握的编程基础,比如 NIO 和异步编程,以及异步系统中的 OOM 和反向压力问题,学完你会对实时流计算有个整体的认识,对“流”的本质有个初步理解。

②模块二:自己动手做一个流计算框架
这部分会介绍如何从 JDK 里最基础的工具类,一步步开发出一个分布式流计算框架。通过这种自己动手的方式,你会更深刻理解流计算系统的核心概念及实现原理。

③模块三:核心技术篇
这部分详细讲解流计算能够解决哪些类型的问题(流数据操作、时间维度聚合计算、关联图谱分析、事件序列分析、模型学习和预测)。还讨论了流计算过程中重要的状态管理问题,带你思考如何将前面的流计算框架扩展为分布式系统。你会掌握实时流计算中的各种算法,帮你解决各种实时业务场景中的问题。

④模块四:开源流计算框架原理解析及实战
这部分会对比分析 4 种开源流计算框架的具体实现,来巩固你对流计算核心概念和技术的理解,并带你正确理解这些框架的 API 设计,以便你在实际业务场景中灵活应用,实现各种复杂的业务逻辑。

此外,专栏还会通过两个实践案例(实时风控和实时数据同步),带你将开源流计算框架运用到具体的业务场景中。

课程目录

开篇词
开篇词 | 攻克实时流计算难点,掌握大数据未来!
模块一 实时流计算入门
01 | 实时流计算的通用架构
02 | 异步和高并发:为什么 NIO 是异步和高并发编程的基础?
03 | 反向压力:如何避免异步系统中的 OOM 问题?
04 | 流与异步:为什么说掌握流计算先要理解异步编程?
模块二 自己动手做一个流计算框架
05 | 有向无环图(DAG):如何描述、分解流计算过程?
06 | CompletableFuture:如何理解 Java 8 新引入的异步编程类?
07 | 死锁:为什么流计算应用突然卡住,不处理数据了?
08 | 性能调优:如何优化流计算应用?
模块三 流计算到底在计算什么
09 | 流数据操作:最基本的流计算功能
10 | 时间维度聚合计算:如何在长时间窗口上实时计算聚合值?
11 | 关联图谱分析:如何用 Lambda 架构实现实时的社交网络分析?
12 | 事件序列分析:大家都在说的 CEP 是怎么一回事?
13 | 模型学习和预测:如何检查流数据异常?
14 | 状态管理:为什么说流计算是有“状态”的?
15 | 扩展为集群:如何实现分布式状态存储?
模块四 开源流计算框架原理解析及实战
16 | Apache Storm:最早的开源流计算框架
17 | Spark Streaming:从批处理走向流处理
18 | Apache Samza:最简洁的开源流计算框架
19 | Apache Flink:最惊艳的开源流计算框架
20 | 场景案例:如何用 Flink 实现实时风控引擎?
21 | 场景案例:如何用 Flink SQL CDC 实现实时数据同步?
彩蛋
彩蛋 1 | 竟然还有分布式的 JVM?
彩蛋 2 | 穷途末路的选择:Lambda 架构
结束语
结束语 | Java 程序员的成长之路和从业方向

讲师介绍

周爽,资深系统架构师

曾就职于华为技术有限公司 2012 实验室高斯部门,从事实时分析型内存数据库 RTANA 研发,并搭建了最初版本的华为公有云 RDS 服务系统,特别擅长高并发编程以及实时流计算技术,有 7 年 Java 相关开发经验。

还曾担任上海行邑 Maxent 移动反欺诈产品项目负责人及技术负责人,负责移动设备指纹及反欺诈技术研发。现著有《实时流计算系统设计与实现》一书。

发表评论

邮箱地址不会被公开。

联系我们

侵权投诉:nerds@nigaea.com

工作时间:周一至周五,9:30-18:00,节假日休息

QR code