大数据工程师培训

大数据前沿知识及hadoop入门

1. 数据分析基础、大数据前沿知识介绍；

2. Linux及unbuntu系统基础； 川软教育

3. hadoop的单机和伪分布模式的安装配置。 

Java技术

1. JDK的安装配置，Java基本知识、数据类型以及基本语法； 

2. Eclipse的编程；川软教育

3. 面向对象的思想基本介绍，类、对象、接口、封装、继承； 

4. Java的集合类——数组、Set、List、Map、Queue； 

5. 异常处理——CheckedException、Unchecked Exception，如何通过异常信息捕获错误； 

6. Java的垃圾回收机制以及多线程简介；

7. Java的文件操作、包的概念及如何打包； 

8. 数据库基础知识及SQL语法； 川软教育

9. 基于web的程序开发技术的B/S应用开发及代码实现案例详解。

Linux技术

1. linux系统基础、选择合适的Linux发行版、安装及配置Linux； 

2. Linux系统目录结构； 

3. linux操作系统命令及使用命令编辑文件； 

4. linux文件权限及用户组； 

5. linux分区详解； 川软教育

6. linux网络和服务配置；

7. Linux下SSH命令使用方法详解。

hadoop安装配置及运行机制解析

1. 基于unbuntu的hadoop的单机模式和伪分布模式安装和配置； 

2. 在linux集群上安装和配置hadoop集群； 

3. 实战：学员自己搭建一个基于hadoop的大数据分析环境； 

4. 在三种环境下运行hadoop自带的小程序； 

5. 掌握数据分析的基本思想；

6. 分布式系统设计的基本思想； 

7. Hadoop 概念、版本、历史； 川软教育

8. 详细讲解Hadoop 单机、伪分布及集群模式的安装配置过程和内容； 

9. 分析比较hadoop三种模式的运行效率，并剖析数据分析的基本思想； 

10.掌握如何通过命令行和浏览器观察hadoop的运行状态； 

11.hadoop的安全模式； 川软教育

12.介绍如何查看hadoop 运行的日志信息。

Hadoop分布式文件系统深入剖析

1. 对hadoop架构的分布式文件系统HADFS进行分析； 

2. 介绍google的GoogleGFS 文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统； 

3. HDFS的概念及设计； 川软教育

4. Hdfs体系结构及运行机制详述； 

5. NameNode、DataNode、SecondaryNameNode的作用及运行机制； 

6. block 的划分原理、存储方式和配置文件； 

7. hdfs的备份机制和文件管理机制； 

8. HDFS文件系统的常用命令； 川软教育

9. 使用命令及JAVA语句操作hdfs中的文件。

Hadoop部署进阶

1.Hadoop集群模式搭建 ；川软教育

2. Hadoop分布式文件系统HDFS剖析 ；

3.使用hdfs提供的api进行hdfs文件操作熟练掌握hadoop集群搭建。

MapReduce理论及实战

1. google的MapReduce编程模型； 

2. hadoop中的MapReduce工作原理； 川软教育

3. 详细讲述mapreduce运行过程中类的调用过程； 

4. 详细讲述如何覆盖 Mapper 功能、如何覆盖 Reducer 功能； 

5. MapReducejob的生命周期中job提交、task分发和task执行； 

6. MapReduce中block 的调度及作业分配机制； 

7. 基于MapReduce模型的wordcount运行； 川软教育

8. 基于MapReduce模型的三个初级案例：数据去重、数据排序和求平均成绩； 

9. 基于MapReduce模型的案例。

hbase理论及实战

1. Hbase简介，包括HBase的基础概念 、数据模型、存储模型；

2. hbase的伪分布和集群的安装及配置；

3. 一个例子讲解hbase shell常用的操作命令；

4. hive+hbase的api操作项目实战。川软教育

hadoop生态环境

1.ZooKeeper简介，包括ZooKeeper的安装、运行及示例；

2.Pig简介，包括Pig的安装、运行及示例；川软教育

4.sqoop简介，包括Sqoop介绍、命令、原理及流程

大数据分析思想

1）大数据的时代背景； 

2）大数据分析的思维转变； 川软教育

3）几种典型的大数据架构分析； 

4）大数据时代的数据分析思想的变革。

大数据分析之Mahout Mahout

1）Mahout的下载、安装与部署； 川软教育

2）Mahout之分类算法：logstic算法(SGD)与朴素贝叶斯算法(new bayes)； 

3）Mahout之聚类算法：Kmeans算法与canopy算法； 

4）Mahout之主题推荐算法：基于物品或用户的推荐算法。

大数据分析之Spark 

1）集群安装并运行Spark； 

2）Spark基础原理；川软教育

3）Spark SQL 原理及数据整合应用； 

4）Spark 数据建模流程（logistics回归，决策树，朴素贝叶斯方法）； 

5）Spark 推荐应用（ALS方法，FP-growth方法）； 

6）Spark GraphX图计算方法应用。川软教育

大数据案例分析

1. 大数据案例分析；

2. 疑难解答。 川软教育