课程简介
本课程主要包含以下内容 1.虚拟机的安装与使用，linux文件系统和常用操作，linux的权限控制与脚本编程;2.Hadoop集群管理，mapreduce原理及mr编程处理;3.hive数据仓库原理和使用,hive优化技巧和常用数据类型，hive数据分析；4.Flume安装与配置；5.kafka工作原理、核心组件，kafka集群部署与维护。
课程目标
掌握虚拟机的安装与使用，linux文件系统和常用操作与shell脚本编程，掌握hadoop集群的安装与配置、hdfsAPI编程技巧、理解mapreduce原理，实现mr编程处理，处理数据倾斜于优化，集群HA原理与配置实现，掌握hive数据仓库原理和使用，hive优化技巧和常用数据类型，使用hive进行数据分析，尤其能够熟练运用高级聚合函数和分析函数，掌握flume日志收集架构、熟练使用各种agent进行日志收集，日志实时收集配置方式，hadoop sink和跃点配置、容灾与负载均衡配置、掌握kafka工作原理、掌握分区、副本、主题等核心组件，掌握kafka集群部署与维护，主题分区的优化与API编程技巧，生产消费编程使用与集群优化技巧、掌握zookeeper集群部署与配置，掌握leader选举机制，能够进行zk的容灾演练，zk的使用与API编程访问
适合人群
熟悉windows操作人员，在校大学生，具有初级计算机基础的人
