大数据技术和应用_PDF下载[115MB-百度云]陈建平

本书特色

[

这是一本大数据技术入门的简明教材。全书理论和实践相结合，以应用实战为主，深入浅出地讲解每个知识点，对每个应用实验按学习习惯，分步骤讲解，每个步骤都有文字说明和效果截图，使读者能清晰地知晓动手实操的效果和错误之处。
全书分为9章，全面介绍了大数据技术的相关基础知识、HDFS和数据库、采集传输工具、挖掘分析算法、Spark计算框架、可视化、大数据安全、大数据应用等内容，着重介绍了HDFS分布式文件系统、NoSQL等各种数据库、数据仓库Hive，以及数据采集分析技术，并配套了详细的实验教程以及练习题。
本书适合作为高等院校计算机、软件工程、大数据专业高职、本科生的教材，同时可供企业中从事大数据开发的工程师和科技工作者参考。

]

内容简介

[

　　《大数据技术和应用/大数据人才培养丛书》是一本大数据技术入门的简明教材。全书理论和实践相结合，以应用实战为主，深入浅出地讲解每个知识点，对每个应用实验按学习习惯，分步骤讲解，每个步骤都有文字说明和效果截图，使读者能清晰地知晓动手实操的效果和错误之处。　　全书分为9章，全面介绍了大数据技术的相关基础知识、HDFS和数据库、采集传输工具、挖掘分析算法、Spark计算框架、可视化、大数据安全、大数据应用等内容，着重介绍了HDFS分布式文件系统、NoSQL等各种数据库、数据仓库Hive，以及数据采集分析技术，并配套了详细的实验教程以及练习题。　　《大数据技术和应用/大数据人才培养丛书》适合作为高等院校计算机、软件工程、大数据专业高职、本科生的教材，同时可供企业中从事大数据开发的工程师和科技工作者参考。

]

作者简介

[

　　陈建平，学士，大数据专家讲师，福建师范大学毕业。2006年从事大数据相关的工作，2010年开始从事大数据培训工作，15人以上的大数据团队带队经验。曾承担过BI工程师、数据挖掘工程师、大数据架构师、数据科学家、大数据技术总监、合伙人等职位，曾参与和组织过个性化推荐大数据和图像处理的人工智能等20多个项目，曾在上海IBM公司担任过高级数据挖掘工程师。多次受邀参加学校大数据实验室专家和高校专业论证会等。精通大数据相关技术，熟悉关系型数据库OracleMySQLDB2，熟悉GreenPlum高并发数据库；精通Hadoop、HBase、HDFS、Hive、Pig、Hue、Spark等开源技术，对实时处理Storm、SparkStreaming有较深的认识，熟悉分布式MapReduce计算引擎。精通数据挖掘算法和解决方案。熟悉SPSSR语言SparkMLlibPython等挖掘语言，熟悉决策树、K-means.神经网络、Logistc线性回归、Apriori算法、协同过滤等多种算法。熟悉零售、电信、移动、电力、证券、网络、物流、医疗、银行等业务。认证资质包括：CCNP、OCP、PMP、高级软件证书、资深讲师证、Cloudera管理员开发证书、高级大数据分析师证书、高级数据分析师证书等。部分培训过单位和学校：北京电力公司、福建电信公司、上海物流公司、****、中国工商银行、上海**、湖北电力公司、上海IBM企业、上海汽车股份、上海电信、江西地税、嘉兴电力、上海电信、闽江学院、龙岩学院、福师大等。　　已出版教材：《Cloudera Hadoop大数据平台实战指南》　　　　陈志德，博士，教授。1999年毕业于福建师范大学数学系，获学士学位；2002年毕业于福州大学数学系，获硕士学位；2005年毕业于复旦大学计算机科学与工程系，获博士学位； 2005年至今在福建师范大学数学与计算机科学学院工作，任网络空间安全系副主任。主要研究方向包括网络与信息安全、物联网与移动计算等，指导硕士研究生30多人，指导研究生的学位论文曾获校优秀硕士论文一等奖。近年来主持福建省自然科学基金、福建省科技厅K类基金等项目10项，参与国家自然科学基金和省科技厅高校产学合作科技重大项目课题各1项。出版学术专著2本，教材1本。在Journal of Computer and System Sciences、Concurrency and Computation：Practice and Experience等期刊发表学术论文40多篇，申请专利10多项，软件著作权10多项。担任CTCIS 和NSS等国内和国际学术会议的程序委员会委员。　　　　席进爱，上海瀚途英烁副总裁／CIO，拥有SIFM、CFA、高级大数据分析师证书。历任上海朝阳永续股份有限公司董事／冰创科技CEO、上海大智慧基金执行总裁、上海证券通产品中心总经理。13年金融领域丰富经验，业务涉及证券、基金、银行、保险。主导并负责多家公司从0到1组建团队、搭建系统和拓展业务，成功运作多起千万级用户平台。目前主要致力于AI和大数据技术的落地应用，研发有智能机器人、智能投研、智能投顾和智能营销四大系统，带领公司成功入选百度AL加速器第4期成员企业。

]

第1章了解大数据1．1 大数据处理的基础技术1．1．1 大数据相关概念1．1．2 大数据处理流程1．1．3 大数据处理基础技术1．2 主流大数据技术1．2．1 主流大数据技术各阶段1．2．2 Hadoop生态系统1．2．3 Hadoop核心组件简介1．3 大数据平台解决方案1．3．1 Cloudera1．3．2 Hortonworks1．3．3 MapR1．3．4 Fusionlnsight．1．3．5 Transwarp Data Hub1．4 大数据发展现状和趋势1．4．1 大数据市场规模1．4．2 国内大数据发展面临的问题1．4．3 大数据发展趋势1．5 习题第2章大数据基础软件2．1 Linux基础介绍2．1．1 用户和用户组管理2．1．2 文件和目录操作2．1．3 文本编辑器2．2 Java基础介绍2．2．1 Java基础2．2．2 编程开发2．2．3 Java开发环境配置2．3 SQL语言基础介绍2．3．1 数据库基础2．3．2 SQL简介2．3．3 SQL语法2．3．4 SQL基础语法2．4 实验一：在Linux中安装和使用JaVa2．4．1 本实验目标2．4．2 本实验知识点2．4．3 项目实施过程2．4．4 常见问题2．5 实验二：在Linux中安装和使用MySQL2．5．1 本实验目标2．5．2 本实验知识点2．5．3 项目实施过程2．5．4 常见问题2．6 习题第3章大数据采集3．1 大数据采集技术介绍3．2 常见采集工具和厂商3．2．1 搜索引擎查看3．2．2 工具分类3．3 八爪鱼采集器介绍3．3．1 八爪鱼采集原理3．3．2 八爪鱼实现的功能3．4 爬山虎采集器介绍3．4．1 爬山虎介绍3．4．2 产品特点和核心技术3．4．3 软件界面3．5 流数据采集工具Flume3．5．1 Flume背景3．5．2 Flume NG基本架构3．5．3 Flume案例分析3．6 数据传输工具Sqoop介绍3．6．1 Sqoop工具介绍3．6．2 Sqoop2特性……第4章大数据存储第5章 Spark内存计算框架第6章大数据分析挖掘第7章大数据可视化第8章大数据安全第9章大数据应用参考文献