博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)...
阅读量:6122 次
发布时间:2019-06-21

本文共 1667 字,大约阅读时间需要 5 分钟。

1、Storm全面、系统、深入讲解,采用最新的稳定版本Storm 0.9.0.1 ;
 
2、注重实践,对较抽象难懂的技术点如Grouping策略、并发度及线程安全、批处理事务、DRPC、Storm Trident均结合企业场景开发案例进行讲解,
 让学员觉得简单易懂;
 
3、分享积累的经验和技巧,从架构的角度剖析场景和设计实现方案;
 
4、讲师Cloudy具有丰富的电商云平台架构经验,对流计算更是涉足早、沉淀深,课程依然沿用重实践、重实战的风格。
 
 
学习课程需要具有: Java基础、Linux基础
 
 
学习课程可以提升的技能(Storm除外):Zookeeper、Java、Linux
 
 

1、Storm简介和课程介绍

 

2、Storm原理和概念详解

 

3、Zookeeper集群搭建及基本使用

 

4、Storm集群搭建及测试

 

5、API简介和入门案例开发

 

6、Spout的Tail特性、storm-starter及maven使用、Grouping策略

 

7、实例讲解Grouping策略及并发

   6种分组策略详解

   并发度与线程安全

 

8、并发度详解、案例开发(高并发运用)

   高并发下注重线程安全

   fieldsGrouping案例

 

9、案例开发——计算网站PV

   通过2种方式实现汇总型计算。

 

10、案例优化引入Zookeeper锁控制线程操作

 

11、计算网站UV(去重计算模式)

   去重计算模式实战讲解

 

12、【运维】集群统一启动和停止shell脚本开发

   开发Storm集群统一启动和停止shell,该脚本在运维中非常有用和高效。

 

13、批处理事务原理详解

   Storm事务工作原理深入讲解

 

14、Storm事务API及案例分析

         Storm事务相关API详解

         Storm事务案例分析

 

15、Storm事务案例实战之 ITransactionalSpout

         Storm事务案例开发

         ITransactionalSpout的实现

 

16、Storm事务案例升级之按天计算

         结合企业场景,案例升级进行按天计算

 

17、Storm分区事务案例实战

         案例之IPartitionedTransactionalSpout的实现和运用

 

18、Storm不透明分区事务案例实战

         案例之IOpaquePartitionedTransactionalSpout 的实现和运用

 

19、DRPC精解和案例分析

         DRPC工作原理精讲

         DRPC案例分析

 

20、Storm Trident 入门

         Trident是Storm基础API的抽象封装,等同于基于Hadoop的Pig。

         Trident框架功能强大,调用简单,是Storm开发的利器。

         本节讲述Trident编程模式和案例分析。

 

21、Trident API和概念

         Trident相关API一览,尤其讲述3类Spout的变化

         相关概念术语

 

22、Storm Trident实战之计算网站PV

        采用简单企业场景进行Storm Trident实战开发  

 

23、ITridentSpout、FirstN(取Top N)实现、流合并和Join

         ITridentSpout实现讲解

         FirstN(取Top N)实现原理

         FirstN(取Top N)实现案例

        流合并和Join

        投影、调用链使用

 

24、Storm Trident之函数、流聚合及核心概念State

         函数、流聚合及各类流输出类型

         Trident核心概念State精讲   

 

25、Storm Trident综合实战一(基于HBase的State)

        Storm Trident综合实战,自定义开发HBase版State,同时实现非事务、事务、不透明事务 3中语义。

         通过对State的深入理解,对理解Trident编程模型和灵活Trident开发很有帮助。

 

26、Storm Trident综合实战二

 

27、Storm Trident综合实战三

 

28、Storm集群和作业监控告警开发

        该监控程序功能

                    1、可以对Storm集群主节点、工作节点状态监控

                    2、作业监控,Topology非法中止时发出告警

 

转载地址:http://gxgka.baihongyu.com/

你可能感兴趣的文章
eclipse中将一个项目作为library导入另一个项目中
查看>>
Go语言学习(五)----- 数组
查看>>
Android源码学习之观察者模式应用
查看>>
Content Provider的权限
查看>>
416. Partition Equal Subset Sum
查看>>
centos7.0 64位系统安装 nginx
查看>>
数据库运维平台~自动化上线审核需求
查看>>
注解开发
查看>>
如何用 Robotframework 来编写优秀的测试用例
查看>>
Django之FBV与CBV
查看>>
Vue之项目搭建
查看>>
app内部H5测试点总结
查看>>
Docker - 创建支持SSH服务的容器镜像
查看>>
[TC13761]Mutalisk
查看>>
三级菜单
查看>>
Data Wrangling文摘:Non-tidy-data
查看>>
加解密算法、消息摘要、消息认证技术、数字签名与公钥证书
查看>>
while()
查看>>
常用限制input的方法
查看>>
Ext Js简单事件处理和对象作用域
查看>>