KUDU:构建高性能实时数据分析存储系统_PDF下载[47MB-百度云]（美）Jean-MarcSpaggia

本书特色

[

要在Hadoop生态系统中实现快速的数据输入、服务和分析，一直以来只有几个可用但是不够完美的解决方案，要么以缓慢的数据输入为代价实现快速分析，要么以缓慢的分析为代价实现快速的数据输入。这个问题现在有了解决办法，使用Apache Kudu基于列的数据存储，你可以很容易地对快速输入的数据进行快速的分析。这就是本书的内容。在这本书中，你将学习Kudu设计中的关键概念，以及如何用它构建快速、可扩展和可靠的应用程序。通过实际的示例，你将了解Kudu如何与其他Hadoop生态系统组件（如Apache Spark、SparkSQL和Impala）集成。

]

内容简介

[

]

作者简介

[

Jean-Marc Spaggiari，Kudu的早期用户，是Cloudera的主任解决方案架构师，为Hadoop、Kudu、HBase和其他工具提供技术支持和咨询服务。Jean-Marc对HBase和HDFS有深入的了解，这也使他能够更好地理解Kudu及其应用。
常冰琳，现任小米云平台软件工程师，曾在百度和VMWare工作，多年从事分布式系统、大数据和深度学习相关工作。Kudu PPMC及Committer。

]

前言 ……………………………………………………………………. XIII第 1 章　为什么会有 Kudu …………………………………………..1Kudu 为什么重要 ………………………………………………………… 1易用性驱动接纳度 ………………………………………………………………………. 2新的应用场景 …………………………………………………………………………….. 5物联网 ……………………………………………………………………………………………..5现有的实时分析方案 ………………………………………………………………………….7实时处理 ………………………………………………………………………………………..13硬件环境 ………………………………………………………………………………….. 15Kudu 在大数据生态中的独特位置 ……………………………………………….. 17与其他生态系统的组件对比 ……………………………………………………………..19与大数据组件对比——HDFS、HBase 和 Cassandra …………………………….24小结 ………………………………………………………………………………………… 26第 2 章　Kudu 简介 ………………………………………………….27Kudu 的高层设计 ………………………………………………………………………. 29Kudu 中的角色 ………………………………………………………………………………..29master 服务器 ………………………………………………………………………………….31tablet 服务器……………………………………………………………………………………32Kudu 中的概念与机制 ……………………………………………………………….. 42热点 ……………………………………………………………………………………………….42分区 ……………………………………………………………………………………………….44第 3 章　安装与运行 …………………………………………………49安装 ………………………………………………………………………………………… 49使用 Kudu Quickstart VM …………………………………………………………………49使用 Cloudera Manager …………………………………………………………………….51从源代码构建 ………………………………………………………………………………….52软件包 ……………………………………………………………………………………………53Cloudera Quickstart VM ……………………………………………………………………53快速安装：3 分钟或者更短 ………………………………………………………… 54小结 ………………………………………………………………………………………… 58第 4 章　Kudu 的管理 ……………………………………………….59为 Kudu 做规划 …………………………………………………………………………. 59master 服务器和 tablet 服务器 ……………………………………………………………60预写日志 ………………………………………………………………………………………..65数据服务器和存储 …………………………………………………………………………..68复制策略（replication strategy） …………………………………………………………69部署时的注意事项：是采用新集群还是现有集群 ………………………….. 70全新的仅有 Kudu 的集群 ………………………………………………………………….70全新的包含 Kudu 的 Hadoop 集群 ……………………………………………………..71在现有的 Hadoop 集群中添加 Kudu …………………………………………………..77tablet 服务器和 master 服务器的 Web UI ………………………………………. 81master 服务器 UI 和 tablet 服务器 UI ………………………………………………….82master 服务器 UI ……………………………………………………………………………..83tablet 服务器 UI ……………………………………………………………………………….83Kudu 命令行接口 ………………………………………………………………………. 84集群 ……………………………………………………………………………………………….84文件系统 ………………………………………………………………………………………..86tablet 副本 ………………………………………………………………………………………92与 Raft 一致性相关的元数据……………………………………………………………106添加和删除 tablet 服务器 ………………………………………………………….. 107添加 tablet 服务器 ………………………………………………………………………….107删除 tablet 服务器 ………………………………………………………………………….108安全 ………………………………………………………………………………………. 109一个简单的类比 ……………………………………………………………………………. 110Kudu 的安全功能 ………………………………………………………………………….. 112基本的性能调优 ………………………………………………………………………. 117Kudu 的内存限制 ………………………………………………………………………….. 117维护管理器的线程 ………………………………………………………………………… 118监控性能 ……………………………………………………………………………………… 119未雨绸缪，远离麻烦 ……………………………………………………………….. 119避免耗尽磁盘空间 ………………………………………………………………………… 119容忍磁盘故障 ………………………………………………………………………………..120备份 ……………………………………………………………………………………………..120小结 ………………………………………………………………………………………. 121第 5 章　Kudu 常用的开发接口 …………………………………123客户端 API ……………………………………………………………………………… 124Kudu Client（客户端）…………………………………………………………………….124Kudu Table ……………………………………………………………………………………125Kudu DDL …………………………………………………………………………………….125Kudu 扫描器（Scanner）读取模式 …………………………………………………..126C API …………………………………………………………………………………. 127Python API ……………………………………………………………………………… 130准备 Python 开发环境 …………………………………………………………………….131使用 Python 开发 Kudu 应用 ……………………………………………………………131Java ……………………………………………………………………………………….. 135Java 应用 …………………………………..