机械工业出版社企业级大数据平台构建:架构与实现

本书特色

[

这是一部教你如何从0到1架构与实现一个企业级大数据平台的著作,是作者在大数据和系统架构领域超过20000小时的经验总结。作者从横向视角出发,手把手教你如何拉通Hadoop体系技术栈,以此搭建一个真实可用、安全可靠的大数据平台。通过阅读本书,一定能从本书的内容中找到灵感和思路来应对实际工作中面对的问题。

]

内容简介

[

《企业级大数据平台构建:架构与实现》是一部教你如何从0到1架构与实现一个企业级大数据平台的著作,是作者在大数据和系统架构领域工作超过20000小时的经验总结。
作者朱凯从横向视角出发,手把手教你如何拉通Hadoop体系技术栈,以此搭建一个真实可用、安全可靠的大数据平台。通过阅读本书,大家一定能找到灵感和思路来应对实际工作中面对的问题。
本书在逻辑上分为三大部分:
背景篇(靠前~2章):简单阐述了企业级大数据平台的重要性,并指出了作为一个企业级大数据平台应当具备的能力。接着抛砖引玉介绍了通过Hadoop生态体系去构建一个企业级大数据平台可以使用的技术栈的核心概念,如HDFS、HBase、Spark等。
方法篇(第3~6章):详细讲解了集群服务、安所有渠道关、服务授权、Kerberos认证、单点登录和集群用户整合等各个方面的背景知识与配置整合步骤。
扩展篇(第7~8章):介绍了如何用编写Restful服务的形式进一步扩展平台功能的一些思路,以便提高平台的易用性和可用性。

]

目录

目  录?Contents推荐序 思者常新,厚积薄发前 言第1章 浅谈企业级大数据平台的重要性 11.1 缺乏统一大数据平台的问题 21.1.1 资源浪费 21.1.2 数据孤岛 21.1.3 服务孤岛 31.1.4 安全存疑 31.1.5 缺乏可维护性和可扩展性 31.1.6 缺乏可复制性 41.2 构建统一大数据平台的优势 41.3 企业级大数据平台需要具备的基本能力 61.3.1 集群管理与监控 71.3.2 数据接入 71.3.3 数据存储与查询 71.3.4 数据计算 81.3.5 平台安全与管理 101.4 平台辅助工具 121.5 本章小结 13第2章 企业级大数据平台技术栈介绍 152.1 HDFS 162.1.1 概述 162.1.2 RAID技术 172.1.3 核心设计目标 182.1.4 命名空间 192.1.5 数据模型 202.1.6 Namenode和Datanode 202.1.7 使用场景 212.2 Zookeeper 222.2.1 概述 222.2.2 核心特性 232.2.3 命名空间 242.2.4 数据模型 242.2.5 节点状态监听 252.2.6 原子消息广播协议 252.2.7 使用场景 322.3 HBase 332.3.1 概述 332.3.2 数据模型 342.3.3 Regions 342.3.4 HBase Master 352.3.5 Region Server 362.3.6 MemStore与HFile 372.3.7 使用场景 372.4 YARN 382.4.1 概述 382.4.2 资源模型和Container 402.4.3 ResourceManager 402.4.4 ApplicationMaster 402.4.5 NodeManager 412.4.6 单一集群架构 412.4.7 工作流程 412.4.8 使用场景 432.5 Spark 432.5.1 概述 432.5.2 数据模型 452.5.3 编程模型和作业调度 452.5.4 依赖 462.5.5 容错 472.5.6 集群模式 472.5.7 使用场景 482.6 本章小结 49第3章 使用Ambari安装Hadoop集群 503.1 概述 503.2 集群设计 523.2.1 主控节点 523.2.2 存储与计算节点 533.2.3 安全认证与管理节点 543.2.4 协同管理与其他节点 543.3 Ambari的安装、配置与启动 553.3.1 安装前的准备 553.3.2 安装Ambari-Server 623.3.3 Ambari-Server目录结构 643.3.4 配置Ambari-Server 653.3.5 启动Ambari-Server 663.4 新建集群 673.4.1 设置集群名称并配置HDP安装包 673.4.2 配置集群 693.5 Ambari控制台功能简介 773.5.1 集群服务管理 783.5.2 集群服务配置 803.5.3 辅助工具 823.6 本章小结 86第4章 构建企业级平台安全方案 874.1 浅谈企业级大数据平台面临的安全隐患 884.1.1 缺乏统一的访问控制机制 884.1.2 缺乏统一的资源授权策略 884.1.3 缺乏Hadoop服务安全保障 894.2 初级安全方案 894.2.1 访问控制 894.2.2 数据授权与管理 974.3 本章小结 110第5章 Hadoop服务安全方案 1115.1 Kerberos协议简介 1115.2 使用FreeIPA安装Kerberos和LDAP 1135.2.1 安装FreeIPA 1155.2.2 IPA-Server管理控制台功能介绍 1195.2.3 IPA CLI功能介绍 1225.3 开启Ambari的Kerberos安全选项 1275.3.1 集成前的准备 1275.3.2 集成IPA 1295.3.3 测试Kerberos认证 1335.4 本章小结 136第6章 单点登录与用户管理 1376.1 集成单点登录 1396.1.1 CAS简介 1406.1.2 安装CAS-Server 1416.1.3 集成Knox网关与CAS- Server 1486.1.4 集成Ranger与CAS-Server 1516.1.5 集成Ambari与CAS-Server 1526.2 实现统一的用户管理系统 1556.3 使用Java程序调用脚本 1616.4 创建Ranger扩展用户 1666.5 本章小结 169第7章 搭建平台管理端RESTful服务 1707.1 搭建RESTful服务框架 1707.2 用户查询 1747.2.1 引入LDAP模块 1747.2.2 配置LDAP 1747.2.3 实现持久层 1777.2.4 实现服务层 1817.2.5 实现RESTful服务 1817.2.6 整合用户管理 1837.3 RESTful服务安全认证 1847.3.1 用户登录服务 1857.3.2 使用JWT认证 1857.3.3 创建用户登录RESTful服务 1887.3.4 认证过滤器 1947.3.5 测试服务安全认证 1987.4 数据仓库数据查询 2007.4.1 创建JDBC连接 2007.4.2 Kerberos登录 2027.4.3 使用JDBC协议查询 2027.4.4 实现服务层与RESTful服务 2067.4.5 测试查询 2077.5 数据仓库元数据查询 2087.5.1 使用query服务查询数仓元数据 2087.5.2 引入JdbcTemplate模块 2097.5.3 增加Hive元数据库配置 2107.5.4 实现元数据持久层 2117.5.5 实现元数据服务层与RESTful服务 2167.5.6 测试元数据查询 2187.6 本章小结 219第8章 Spark任务与调度服务 2208.1 提交Spark任务的3种方式 2208.1.1 使用Spark-Submit脚本提交 2208.1.2 使用Spark Client提交 2268.1.3 使用YARN RESTful API提交 2298.2 查询Spark日志 2348.3 任务调度 2368.3.1 引入Quartz模块 2378.3.2 增加Quartz配置 2378.3.

封面

机械工业出版社企业级大数据平台构建:架构与实现

书名:机械工业出版社企业级大数据平台构建:架构与实现

作者:朱凯

页数:251

定价:¥69.0

出版社:机械工业出版社

出版日期:2018-04-01

ISBN:9787111595953

PDF电子书大小:109MB 高清扫描完整版

百度云下载:http://www.chendianrong.com/pdf

发表评论

邮箱地址不会被公开。 必填项已用*标注