Spark大数据编程实用教程

本书特色

[

本书是一本讲解Spark基础应用及编程的实用教程，基于 Spark 2.3 版本，内容包括 Spark 与大数据、构建 Spark 运行环境、开发一个Spark 程序、深入理解 Spark 程序代码、RDD 编程、Spark SQL 结构化数据处理、Spark Streaming、Structured Streaming、SparkR和GraphX。本书总结了Spark 学习的关键点；提出了 Spark 快速学习路线图；提供配套的 Spark前置课程学习资源链接，包括虚拟机、Linux 和 Shell 免费高清视频、《零基础快速入门Scala》免费电子书等，帮助零基础读者迅速夯实Spark基础。
本书配以大量的示例、源代码和注释，可以帮助读者快速、全面而又深入地掌握Spark编程技能。
本书既可作为高等院校大数据、云计算和人工智能相关专业的教材，也可以作为Spark学习者和大数据研发人员的技术参考书。

]

内容简介

[

本书是一本讲解Spark基础应用及编程的实用教程，基于 Spark 2.3 版本，内容包括 Spark 与大数据、构建 Spark 运行环境、开发一个Spark 程序、深入理解 Spark 程序代码、RDD 编程、Spark SQL 结构化数据处理、Spark Streaming、Structured Streaming、SparkR和GraphX。本书总结了Spark 学习的关键点；提出了 Spark 快速学习路线图；提供配套的 Spark前置课程学习资源链接，包括虚拟机、Linux 和 Shell 免费高清视频、《零基础快速入门Scala》免费电子书等，帮助零基础读者迅速夯实Spark基础。本书配以大量的示例、源代码和注释，可以帮助读者快速、全面而又深入地掌握Spark编程技能。本书既可作为高等院校大数据、云计算和人工智能相关专业的教材，也可以作为Spark学习者和大数据研发人员的技术参考书。

]

作者简介

[

文艾（艾叔）：系统分析师，原解放军理工大学-奇虎360联合实验室技术负责人；具有多年大数据开发和运维经验，带领团队完成了与华为、中兴通讯和奇虎360等公司的多个大数据类项目；曾受邀为中兴通讯和奇虎360等公司做技术培训，其主讲的Spark课程长期排名51CTO学院大数据类（Spark分类）年销量前列；擅长帮助初学者快速掌握Spark大数据编程技能，近年来指导零基础本科生参加Spark类全国编程竞赛，战胜了多支985高校的研究生队，获得全国总决赛二等奖两次和三等奖一次；指导本科生完成的云计算和大数据类作品，参加科技创新竞赛，共获得全国特等奖一次，一等奖两次；通过“艾叔编程”公众号，以及在网易云课堂上开设的一系列免费视频课程，至今已帮助8万多名学习者入门编程，并获得好评。

]

目录

目 录前言 第1章 Spark与大数据 11.1 大数据开发基础 11.1.1 什么是大数据 11.1.2 大数据开发的通用步骤 21.1.3 大数据开发技术 41.2 初识Spark 101.2.1 Spark是什么 101.2.2 Spark的技术特点 111.3 Spark技术栈 121.4 Spark重要组件 131.4.1 Spark Core 131.4.2 Spark SQL 141.4.3 GraphX 151.4.4 流数据处理 161.4.5 SparkR 171.4.6 MLlib/ML 181.4.7 Spark交互工具 181.5 Spark和Scala 191.5.1 Scala语言简介 191.5.2 为什么用Scala开发Spark框架 201.5.3 为什么用Scala开发Spark程序 201.5.4 Scala开发Spark程序所涉及的技术 201.5.5 Scala语言基础 211.6 如何快速掌握Spark 211.6.1 Spark学习的痛点 211.6.2 Spark快速学习路线图 221.6.3 Spark学习中的关键点 231.6.4 利用本书相关资源高效学习Spark 231.6.5 本书所使用的软件和版本 251.7 练习 25第2章 构建Spark运行环境 262.1 Spark程序运行时架构 262.2 构建Spark大数据运行环境 282.2.1 构建HDFS 282.2.2 构建Yarn 302.2.3 构建Spark集群 312.3 运行Spark程序（Local方式） 312.4 运行Spark程序（分布式方式） 322.4.1 Spark on Yarn 322.4.2 Spark on Standalone 362.5 Spark程序在spark-shell上运行 412.6 使用Web UI监控Spark程序运行 432.7 扩展集群节点 482.8 练习 49第3章 开发**个Spark程序 513.1 在命令行模式下开发Spark程序 513.1.1 构建Scala程序编译环境 513.1.2 使用Vim编写Spark程序 533.1.3 使用命令编译、打包Spark程序 543.1.4 运行Spark程序 563.1.5 使用java命令运行Spark程序 573.1.6 Spark程序编译、运行、部署的关键点 583.2 使用IDEA开发Spark程序 583.2.1 IDEA安装和基本使用 593.2.2 使用IDEA编辑Spark代码 603.2.3 IDEA编译、打包 623.2.4 IDEA远程提交Spark程序 633.3 练习 64第4章 深入理解Spark程序代码 664.1 Spark程序代码结构 664.2 Spark程序代码的核心概念 684.2.1 RDD 684.2.2 Application 684.2.3 Job 694.2.4 DAG 704.2.5 Stage 724.2.6 Task 764.2.7 Application、Job、Stage和Task的并行粒度和并行条件 774.3 Spark程序代码执行过程 774.4 练习 85第5章 RDD编程 865.1 RDD核心概念 865.1.1 Transformation的基本概念 875.1.2 Action的基本概念 885.1.3 Partition的基本概念 885.2 创建RDD 895.3 RDD Partition 935.4 Transformation操作 1075.5 Action操作 1305.6 RDD的cache/persist和checkpoint操作 1365.7 练习 140第6章 Spark SQL结构化数据处理 1426.1 Spark SQL的核心概念 1426.2 Spark SQL数据处理概述 1476.3 构建Spark SQL运行环境 1506.4 DataFrame/Dataset快速上手 1576.5 DataFrame/Dataset与数据源的转换 1656.6 DataFrame/Dataset常用API 1986.7 SQL操作 2236.8 练习 234第7章 Spark Streaming 2367.1 Spark Streaming基础 2367.2 编写一个Spark Streaming程序 2417.3 Spark Streaming Web UI的使用 2447.4 多路流数据合并处理示例 2507.5 DStream Transformation操作 2557.6 DStream Output 操作 2627.7 练习 264第8章 Structured Streaming 2658.1 Structured Streaming基础 2658.2 Structured Streaming接入Text File数据源 2688.3 Structured Streaming接入Rate数据源 2738.4 使用Schema解析JSON格式数据源 2748.5 使用DataFrame/Dataset处理流数据 2778.6 Structured Streaming Window操作 2828.7 Structured Streaming Watermarking操作 2888.8 Structured Streaming JOIN操作 2908.9 练习 304第9章 SparkR 3059.1 SparkR基础 3059.2 构建SparkR程序开发和运行环境 3079.3 SparkR代码的执行方式 3089.4 SparkR的基本使用 3149.5 SparkR机器学习算子 3239.6 利用SparkR实现单词统计和图形输出 3269.7 练习 329第10章 GraphX 33010.1 GraphX基础 33010.2 GraphX的基本数据结构 33510.3 GraphX实现*短路径算法——SGDSP 35410.4 GraphX Pregel的原理及使用 36110.5 GraphX Pregel实现*短路径算法——SGPSP 36610.6 练习 370参考文献 372

封面

书名:Spark大数据编程实用教程

作者:艾叔

页数:373

定价:¥109.0

出版社:机械工业出版社

出版日期:2020-05-01

ISBN:9787111651000

PDF电子书大小:146MB 高清扫描完整版