南山区大数据培训班(1)

课程简介：全套服务（在线、面授均享）1、面授+远程+录播2、24小时远程真机练习3、行业专家讲师亲临授课4、每班一名班主任督学5、一年半免费重听学习ClouderaApacheHadoop培训及认证帮助您进阶大数据知识及技能。Cloudera大学为期4天的Hadoop管理员培训将帮助学员综合理解并全面掌握通过ClouderaManager对Hadoop集群的运维管理，包括：安装，配置、负载平衡及性能调优等。通过该培训，Hadoop系统管理员将能准备好应对实际运维中遇到的挑战。一．培训内容● 通过讲师在课堂上的讲解，以及实操练习，学员将学习以下内容：● ClouderaManager管理集群的特性，诸如日志汇总、配置管理、资源管理、报告、报警及服务管理等。● YARN、MapReduce、Spark及HDFS的工作原理。● 如何为你的集群选取合适的硬件和架构。● 如何将Hadoop集群和企业已有的系统进行无缝集成。● 如何使用Flume进行实时数据采集以及如何使用Sqoop在RDBMS和Hadoop集群之间进行数据导入导出。● 如何配置公平调度器为Hadoop上的多用户提供服务级别保障。● 产品环境中Hadoop集群的运维实践。● Hadoop集群排错、诊断问题和性能调优。二．培训对象及学员基础面向系统管理员和IT经理，需具备Linux经验，无需ApacheHadoop基础。三．认证结束本课程培训后，我们建议学员准备并注册参加CCAHadoop管理员考试。通过并获取该证书是向公司及客户证明个人在Hadoop领域的技术和专长的有力依据。四．课程大纲1. ApacheHadoop介绍● Hadoop的创建动机● 基本概念● Hadoop核心部件2. Hadoop集群安装● 集群管理方案● ClouderaManager特性● Clouderamanager安装● Hadoop(CDH)安装3. Hadoop分布式文件系统(HDFS)● HDFS特性● 读写文件● NameNode内存考虑● HDFS安全简介● HDFSWebUI● 使用HDFSShell4. YARN上的MapReduce和Spark● 计算平台在Hadoop里扮演的角色● YARN：集群资源管理器● MapReduce概念● ApacheSpark概念● Yarn上的计算平台● 通过WebUI及Shell观察YARN应用● YARN应用运行日志5. Hadoop配置及服务运行日志● ClouderaManager配置管理机制● 定位配置参数及进行配置变更● 管理角色实例及添加服务● 配置HDFS服务● 配置Hadoop服务运行日志● 配置YARN服务6. HDFS数据导入● 使用Flume从外部数据源实时● 导入数据● 使用Sqoop从关系数据库导入数据● REST接口● 导入数据的实践7. Hadoop集群规划● 规划考虑因素● 硬件选择● 虚拟化选项＊● 网络因素● 节点配置8. Hive，Impala及Pig安装及配置● Hive● Impala● Pig9. Hadoop客户端及Hue● 什么是Hadoop客户端● 安装及配置Hadoop客户端● 安装及配置Hue● 使用Hue进行身份验证及授权10. 集群高级配置● 高级配置参数● Hadoop端口配置● HDFS机柜感知配置● HDFS高可靠性配置11. Hadoop安全●Hadoop安全的重要性● Hadoop安全性概念● Kerberos简介● 使用Kerberos保护Hadoop集群● 其他安全概念12. 资源管理● 使用静态服务池配置Linuxcgroup● 公平调度器● 配置动态资源池● YARN内存及CPU设置● Impala查询调度13. 集群维护● 检查HDFS状态● 集群间复制数据● 添加/移除集群节点● 集群数据负载平衡● 目录快照● 集群升级14. 集群监控及排错● ClouderaManager监控特性● 监控Hadoop集群● Hadoop集群排错● 常见配置不当问题15. 结论Cloudera大数据课程体系