编辑推荐
null
内容简介
萨米特·古普塔、希尔皮·萨克塞纳著张广骏译的《实时大数据分析(基于StormSpark技术的实时应用)》详细阐述了实时大数据分析的实现过程，主要包括大数据技术前景及分析平台；熟悉Storm平台；用Storm处理数据；Trident介绍和Storm性能优化；熟悉Kinesis；熟悉Spark；RDD编程；Spark的SQL查询引擎；Spark Streaming分析流数据以及Lambda架构等内容。此外，本书还提供了相应的示例、代码，以帮助读者进一步理解相关方案的实现过程。 本书适合作为高等院校计算机及相关专业的教材和教学参考书，也可作为相关开发人员的自学教材和参考手册。
作者介绍
作者:(美)萨米特·古普塔 作者:希尔皮·萨克塞纳 译者:张广骏
目 录
第1章 大数据技术前景及分析平台 1.1 大数据的概念 1.2 大数据的维度范式 1.3 大数据生态系统 1.4 大数据基础设施 1.5 大数据生态系统组件 1.5.1 构建业务解决方案 1.5.2 数据集处理 1.5.3 解决方案实施 1.5.4 呈现 1.6 分布式批处理 1.7 分布式数据库（NoSQL） 1.7.1 NoSQL数据库的优势 1.7.2 选择NoSQL数据库 1.8 实时处理 1.8.1 电信或移动通信场景 1.8.2 运输和物流 1.8.3 互联的车辆 1.8.4 金融部门 1.9 本章小结 第2章 熟悉Storm 2.1 Storm概述 2.2 Storm的发展 2.3 Storm的抽象概念 2.3.1 流 2.3.2 拓扑 2.3.3 Spout 2.3.4 Bolt 2.3.5 任务 2.3.6 工作者 2.4 Storm的架构及其组件 2.4.1 Zookeeper集群 2.4.2 Storm集群 2.5 如何以及何时使用Storm 2.6 Storm的内部特性 2.6.1 Storm的并行性 2.6.2 Storm的内部消息处理 2.7 本章小结 第3章 用Storm处理数据 3.1 Storm输入数据源 3.2 认识Kafka 3.2.1 关于Kafka的更多知识 3.2.2 Storm的其他输入数据源 3.2.3 Kafka作为输入数据源 3.3 数据处理的可靠性 3.3.1 锚定的概念和可靠性 3.3.2 Storm的acking框架 3.4 Storm的简单模式 3.4.1 联结 3.4.2 批处理 3.5 Storm的持久性 3.6 本章小结 第4章 Trident概述和Storm性能优化 4.1 使用Trident 4.1.1 事务 4.1.2 Trident 拓扑 4.1.3 Trident操作 4.2 理解LMAX 4.2.1 内存和缓存 4.2.2 环形缓冲区—粉碎器的心脏 4.3 Storm的节点间通信 4.3.1 ZeroMQ 4.3.2 Storm的ZeroMQ配置 4.3.3 Netty 4.4 理解Storm UI 4.4.1 Storm UI登录页面 4.4.2 拓扑首页 4.5 优化Storm性能 4.6 本章小结 第5章 熟悉Kinesis 5.1 Kinesis架构概述 5.1.1 Amazon Kinesis的优势和用例 5.1.2 高级体系结构 5.1.3 Kinesis的组件 5.2 创建Kinesis流服务 5.2.1 访问AWS 5.2.2 配置开发环境 5.2.3 创建Kinesis流 5.2.4 创建Kinesis流生产者 5.2.5 创建Kinesis流消费者 5.2.6 产生和消耗犯罪警报 5.3 本章小结 第6章 熟悉Spark 6.1 Spark概述 6.1.1 批量数据处理 6.1.2 实时数据处理 6.1.3 一站式解决方案Apache Spark 6.1.4 何时应用Spark—实际用例 6.2 Spark的架构 6.2.1 高级架构 6.2.2 Spark扩展/库 6.2.3 Spark的封装结构和API 6.2.4 Spark的执行模型—主管-工作者视图 6.3 弹性分布式数据集（RDD） 6.4 编写执行第一个Spark程序 6.4.1 硬件需求 6.4.2 基本软件安装 6.4.3 配置Spark集群 6.4.4 用Scala编写Spark作业 6.4.5 用Java编写Spark作业 6.5 故障排除提示和技巧 6.5.1 Spark所用的端口数目 6.5.2 类路径问题—类未找到异常 6.5.3 其他常见异常 6.6 本章小结 第7章 使用RDD编程 7.1 理解Spark转换及操作 7.1.1 RDD API 7.1.2 RDD转换操作 7.1.3 RDD功能操作 7.2 编程Spark转换及操作 7.3 Spark中的持久性 7.4 本章小结 第8章 Spark的SQL查询引擎——Spark SQL 8.1 Spark SQL的体系结构 8.1.1 Spark SQL的出现 8.1.2 Spark SQL的组件 8.1.3 Catalyst Optimizer 8.1.4 SQL/Hive context 8.2 编写第一个Spark SQL作业 8.2.1 用Scala编写Spark SQL作业 8.2.2 用Java编写Spark SQL作业 8.3 将RDD转换为Datadata-xss 8.3.1 自动化过程 8.3.2 手动过程 8.4 使用Parquet 8.4.1 在HDFS中持久化Parquet数据 8.4.2 数据分区和模式演化/合并 8.5 Hive表的集成 8.6 性能调优和最佳实践 8.6.1 分区和并行性 8.6.2 序列化 8.6.3 缓存 8.6.4 内存调优 8.7 本章小结 第9章 用Spark Streaming分析流数据 9.1 高级架构 9.1.1 Spark Streaming的组件 9.1.2 Spark Streaming的封装结构 9.2 编写第一个Spark Streaming作业 9.2.1 创建流生成器 9.2.2 用Scala编写Spark Streaming作业 9.2.3 用Java编写Spark Streaming作业 9.2.4 执行Spark Streaming作业 9.3 实时查询流数据 9.3.1 作业的高级架构 9.3.2 编写Crime生产者 9.3.3 编写Stream消费者和转换器 9.3.4 执行SQL Streaming Crime分析器 9.4 部署和监测 9.4.1 用于Spark Streaming的集群管理器 9.4.2 监测Spark Streaming应用程序 9.5 本章小结 第10章 介绍Lambda架构 10.1 什么是Lambda架构 10.1.1 Lambda架构的需求 10.1.2 Lambda架构的层/组件 10.2 Lambda架构的技术矩阵 10.3 Lambda架构的实现 10.3.1 高级架构 10.3.2 配置Apache Cassandra和Spark 10.3.3 编写自定义生产者程序 10.3.4 编写实时层代码 10.3.5 编写批处理层代码 10.3.6 编写服务层代码 10.3.7 执行所有层代码 10.4 本章小结
媒体评论
null
