Storm:大数据流式计算及应用实践

本书特色

[

storm作为实时的、分布式以及具备高容错的流式计算系统，对比适于海量数据批处理的hadoop，不仅简化了数据流上相关处理的并行编程复杂度，也提供了数据处理实时性、可靠性和集群节点动态伸缩的特性。本书通过各自章节的详细阐述和应用，全面介绍了storm的溯源发展、核心概念和集群配置、可靠性保障关键技术、常用的并行流模型编程范式，关键数据结构和源码解析等。本书的一大特色是，书中所有实例，均来自笔者所在团队的实际应用，是一个在智能交通背景下的城市道路车辆实时监控系统。

]

内容简介

[

本书结合理论逐步落地实践，使读者不仅能够深入地了解当前大数据带来的挑战和机遇，还可以通过书中的案例获得更直观的感性认识，快速上手storm的开发，解决个性化实践处理的需求。

]

作者简介

[

丁维龙，博士，2013 年1 月毕业于中国科学院计算技术研究所，现任教于北方工业大学，在大规模流数据集成与分析技术北京市重点实验室从事实时数据处理与分布式系统方向的研究，已在SCI 检索期刊和领域知名国际会议发表多篇学术论文，主持并参与多项科研课题。中国计算机学会（CCF）、ACM（Association for Computing Machinery）会员，目前是旗舰期刊IEEE Transaction on Service Computing、 IEEE Transactions onIndustrial Informatics 和计算机学报审稿人，同时担任第七届中国传感器网络学术会议（The 7th China Conference on China Wireless Sensor Networks, CCF CWSN2013）、IEEE SDPI workshop 的程序委员会成员。

]

目录

**篇 理论篇 流式数据处理概论第1章 大数据环境下的云计算与物联网 31.1 云计算与物联网 31.1.1 云计算 31.1.2 物联网 61.2 大数据下的新挑战 81.2.1 大数据及其特征 81.2.2 大数据处理的技术挑战 111.3 本章小结 14第2章 流式实时数据处理：理论与技术 152.1 流式数据与流式实时计算 152.1.1 流式数据 152.1.2 流式实时计算 182.2 流式数据处理的系统与应用 202.2.1 发展与挑战 202.2.2 hadoop 2.0生态圈 222.3 storm 272.3.1 起源与发展：twitter的开源与影响 272.3.2 功能 292.3.3 特色：可扩展、可靠的分布式流式数据处理 302.4 其他开源流式数据处理系统 342.4.1 yahoo s4 342.4.2 spark streaming 372.4.3 facebook puma 412.5 本章小结 42第3章 实际案例：城市道路车辆 数据的实时监控分析系统 433.1 背景与需求分析 433.1.1 背景 433.1.2 数据处理的业务需求 453.2 数据处理系统的架构设计与技术选型 463.2.1 架构设计 463.2.2 技术选型 483.3 本章小结 49第二篇 应用基础篇 流式数据处理系统storm的基础原理第4章 storm的系统模型：架构与组成 534.1 系统架构与部署模式 534.1.1 系统架构 534.1.2 单机/分布式部署 564.1.3 本地模式 584.2 系统节点 594.2.1 zookeeper：协调节点 594.2.2 nimbus：主控节点 634.2.3 supervisor：工作节点 654.2.4 ui：控制台节点 684.3 本章小结 70第5章 storm的通信模型 715.1 thrift: 可扩展且跨语言的通信软件框架 715.1.1 thrift的基础概念 715.1.2 基于thrift的数据通信 745.2 thrift在storm中的应用：系统节点间的通信 755.2.1 接口的定义与实现 755.2.2 客户端与storm系统的通信 825.3 zeromq在storm中的应用：storm作业任务间的通信 835.3.1 zeromq：面向分布式并发应用的高性能异步消息处理库 835.3.2 tuple与declareoutputfields(): 数据项结构及声明 865.4 storm 可配置的通信机制 895.5 本章小结 90第6章 storm的作业单元：topology 916.1 topology结构及构成 916.2 stream：组件间的数据传递 936.2.1 概述 936.2.2 stream grouping: 流组模式 946.2.3 自定义流组 1016.3 构建topology 1046.3.1 topologybuilder与config 1046.3.2 topology构建示例 1066.3.3 topology常见的编程模式 1076.4 本章小结 109第7章 storm的数据源编程单元：spout 1107.1 spout的接口与实现 1107.1.1 spout与接口层次结构 1107.1.2 ispout和icomponent接口 1117.1.3 接口的实现类及实例 1137.2 spout的使用模式 1157.2.1 直接连接 1157.2.2 队列连接 1197.3 spout与数据的可靠性 1217.3.1 可靠的spout与不可靠的spout 1217.3.2 可靠的spout的数据项管理 1227.4 本章小结 125第8章 storm的数据处理编程单元：bolt 1268.1 bolt的接口与实现 1268.1.1 bolt与接口层次 1268.1.2 ibolt和icomponent接口 1278.1.3 接口的实现类及实例 1318.2 bolt与数据的可靠性 1338.2.1 可靠的bolt与不可靠的bolt 1338.2.2 可靠的bolt的数据项管理 1338.2.3 ibasicbolt和basebasicbolt 1368.3 本章小结 137第9章 storm的保障能力 1389.1 storm的功能性保障：多粒度的并行化 1389.1.1 并发模型 1389.1.2 并行度配置 1399.1.3 可插拔的自定义调度器 1449.2 storm的非功能性保障：多级别的可靠性 1499.2.1 不同级别的容错机制 1499.2.2 记录级容错：保障数据项不丢失 1519.2.3 记录级容错的原理：acker任务与追踪算法 1579.3 本章小结 164第10章 storm的特定应用 16510.1 分布式远程过程调用 16510.1.1 概述 16510.1.2 drpc的构建与使用 16610.1.3 storm的drpc原理 17110.2 事务型作业 17310.2.1 概述 17310.2.2 transactional topology的构建与使用 17510.2.3 transactional topology的编程接口与事务型的实现 17910.2.4 coordinatedbolt的原理 18110.3 非java语言的开发 18210.3.1 支持多语言的协议 18210.3.2 shell组件 18710.4 本章小结 189第三篇 应用实践篇 基于流式数据处理系统storm的开发第11章 storm的系统部署 19311.1 系统环境 19311.2 依赖程序的安装 19411.2.1 libuuid, libuuid-devel, gcc-c++, libtool 19411.2.2 zeromq和jzmq 19611.3 storm的安装与配置 19811.3.1 zookeeper的安装与配置 19811.3.2 单机模式和集群模式下storm的安装、配置和启动 20011.3.3 storm各节点的服务启动 20311.4 storm集群水平扩展工作节点 20611.5 本章小结 207第12章 storm应用的开发与调试 20812.1 eclipse环境下的storm工程 20812.1.1 eclipse开发环境 20812.1.2 将storm-starter组织为eclipse工程 21012.2 storm应用的开发、调试与部署 21212.2.1 本地开发与调试 21212.2.2 远程部署 21312.3 常见问题与应对技巧 21512.3.1 zeromq版本 21512.3.2 zookeeper日志清理 21612.3.3 topology作业的打包与远程部署 21612.4 本章小结 217第13章 项目案例分析 21813.1 业务计算的设计 21813.1.1 需求分析 21813.1.2 概要设计 21913.2 业务计算的实现 22013.2.1 topology的构建 22013.2.2 jmsspout的实现 22213.2.3 三个bolt的实现 22413.3 本章小结 229附录 218参考文献 232后记 237

封面

书名:Storm:大数据流式计算及应用实践

作者:丁维龙

页数:250

定价:¥48.0

出版社:电子工业出版社

出版日期:2015-03-01

ISBN:9787121195686

PDF电子书大小:52MB 高清扫描完整版