{首页主词},&

網(wǎng)站首頁

大數(shù)據(jù)工程師

首頁>官網(wǎng)首頁 > 熱門專業(yè) > 大數(shù)據(jù)工程師

北美大數(shù)據(jù)5.0課程大綱

第一階段 —— 預(yù)科課程

1.組班課程 2.計(jì)算機(jī)基本技能學(xué)年-打字訓(xùn)練

第二階段 —— JavaEE

一、Java基礎(chǔ)入門

1.搭建Java開發(fā)環(huán)境2.變量的定義 3.數(shù)據(jù)類型與運(yùn)算符 4.循環(huán)結(jié)構(gòu)與選擇結(jié)構(gòu) 5.數(shù)組 6.項(xiàng)目實(shí)戰(zhàn)-吃貨聯(lián)盟訂餐系統(tǒng)

二、Java面向?qū)ο?/div> 1.類和對象2.面向?qū)ο蟮娜筇匦裕悍庋b、繼承、多態(tài) 3.面向?qū)ο笏枷氤绦蛟O(shè)計(jì) 4.抽象類和抽象方法 5.接口 6.異常7.項(xiàng)目實(shí)戰(zhàn)-QuickHit8.正則表達(dá)式9.開發(fā)工具：Maven、Git、IDEA

三、Java高級API

1.集合2.實(shí)用類和泛型 3.Java I/O與序列化 4.Java反射機(jī)制 5.注解的原理 6.多線程編程7.網(wǎng)絡(luò)編程8.XML、JSON解析的方法9.常用設(shè)計(jì)模式 10.項(xiàng)目實(shí)戰(zhàn)-嗖嗖移動(dòng)業(yè)務(wù)大廳11.項(xiàng)目實(shí)戰(zhàn)-超市會(huì)員管理系統(tǒng)

四、MySQL數(shù)據(jù)庫

1.MySQL安裝與SQLyog的使用2.DDL語句：建庫、建表、改表、刪除表 3.DML語句：添加、刪除、修改 4.DQL語句：查詢5.MySQL高階語法：連接查詢、排序、分頁、子查詢、聚合函數(shù)、分組查詢 6.MySQL事務(wù)（ACID原則、事務(wù)實(shí)現(xiàn)） 7.視圖8.索引 9.導(dǎo)入導(dǎo)出 10.MySQL進(jìn)階訓(xùn)練

五、Java Web

1.HTML5基礎(chǔ)2.JS基礎(chǔ) 3.Tomcat 4.JSP 5.JDBC編程 6.Servlet 7.項(xiàng)目實(shí)戰(zhàn)——新聞發(fā)布系統(tǒng)VC

六、SSM

1.MyBatis原理及使用2、Spring概述 3.Spring IoC和AOP 4.Spring和MyBatis整合5.Spring MVC 6.Sping Boot7.SSM框架整合8.項(xiàng)目-超市訂單管理系統(tǒng)

七、Linux編程

1.Linux VM 環(huán)境搭建2.基本Linux命令 3.SSH配置 4.Linux Shell編程 5.Linux環(huán)境安裝MySQL與Tomcat6.Linux部署Java Web應(yīng)用

八、ELK

1.ELK綜述2.ELK安裝與配置 3.數(shù)據(jù)清洗、處理和導(dǎo)入– Logstash vs. Filebeat 4.數(shù)據(jù)存儲(chǔ)與管理 5.數(shù)據(jù)搜索與分析 6.項(xiàng)目實(shí)戰(zhàn)

第三階段 —— Hadoop

一、HDFS

1.大數(shù)據(jù)概述2.Hadoop生態(tài)圈概述 3.大數(shù)據(jù)分布式處理的基本方法 4.Hadoop架構(gòu)及核心模塊 5.DFS基本文件操作命令6.HDFS編程 7.用Java實(shí)現(xiàn)HDFS文件操作

二、MapReduce

1.MapReduce分布式計(jì)算的基本原理2.使用Java進(jìn)行MapReduce編程 3.MapReduce任務(wù)執(zhí)行

三、Hive

1.Hive的作用、優(yōu)勢和基本架構(gòu)2.Hive數(shù)據(jù)類型、元數(shù)據(jù)、存儲(chǔ)模型 3.Hive DDL、DML、數(shù)據(jù)查詢 4.Hive高級特性5.Hive函數(shù)、自定義函數(shù) 6.Hive性能調(diào)優(yōu)

四、HBase

1.NoSQL綜述2.HBase的基本概念 3.HBase架構(gòu)、數(shù)據(jù)模型 4.HBase數(shù)據(jù)導(dǎo)入 5.HBase數(shù)據(jù)查詢 6.使用Shell操作HBase 7.HBase API與數(shù)據(jù)讀取優(yōu)化8.Phoenix的使用 9.Hive操作HBase表 10.HBase高級操作

五、Sqoop

1.Sqoop介紹2.Sqoop常用命令使用 3.使用Sqoop完成從RDB到HDFS的數(shù)據(jù)遷移 4.使用Sqoop完成從RDB到Hive的數(shù)據(jù)遷移5.使用Sqoop完成從Hive到RDB的數(shù)據(jù)遷移

六、離線項(xiàng)目實(shí)戰(zhàn)

項(xiàng)目實(shí)戰(zhàn)-電子商務(wù)消費(fèi)行為分析

第四階段 —— Spark

一、構(gòu)建離線數(shù)據(jù)分析平臺(tái)—用戶興趣取向分析

1.項(xiàng)目介紹及數(shù)據(jù)湖架構(gòu)與建設(shè)2.日志數(shù)據(jù)探索 3.Apache Kafka基礎(chǔ)及開發(fā) 4.Apache Flume基礎(chǔ)及使用案例 5.日志數(shù)據(jù)導(dǎo)入6.日志數(shù)據(jù)（Hive）ETL變換 7.機(jī)器學(xué)習(xí)及常用模型介紹 8.項(xiàng)目實(shí)戰(zhàn)—圖像分析9.建立日志推薦模型 10.Apache Oozie架構(gòu)及工作流模型11.日志數(shù)據(jù)ETL工作流 12.基于Spark Streaming的流數(shù)據(jù)處理和分析 13.使用Spark Streaming及ML實(shí)施用戶興趣取向?qū)崟r(shí)預(yù)測 14.建立Tableau與MySQL的鏈接，數(shù)據(jù)可視化及生成日志報(bào)表 15.項(xiàng)目部署 16.Apache NiFi基礎(chǔ)及架構(gòu)17.日志數(shù)據(jù)流程（data flow）開發(fā) 18.Cassandra基礎(chǔ)及使用 19.Cassandra與Spark的集成20.日志數(shù)據(jù)（Spark）ETL開發(fā) 21.Redis基礎(chǔ)及使用 22.Redis與Spark的集成23.企業(yè)數(shù)據(jù)監(jiān)管綜述及實(shí)施 24.項(xiàng)目大總結(jié)

二、實(shí)時(shí)流處理平臺(tái)—股票流數(shù)據(jù)實(shí)時(shí)分析

1.項(xiàng)目介紹及數(shù)據(jù)格式定義2.Apache Kafka開發(fā) 3.股票數(shù)據(jù)爬取 4.基于Confluent的股票元數(shù)據(jù)管理及應(yīng)用 5.基于Apache Flink流數(shù)據(jù)處理及實(shí)時(shí)分析 6.使用Apache Flink實(shí)施股票的實(shí)施分析 7.Grafana/Zeppelin數(shù)據(jù)可視化

三、混合計(jì)算項(xiàng)目實(shí)戰(zhàn)—教育平臺(tái)大數(shù)據(jù)分析

1.項(xiàng)目介紹及數(shù)據(jù)格式定義2.Apache Kafka開發(fā)3.Flume采集數(shù)據(jù) 4.Hive數(shù)據(jù)分析及處理 5.Spark數(shù)據(jù)分析及處理 6.Spark Streaming實(shí)現(xiàn)數(shù)據(jù)處理 7.工作流調(diào)度 8.可視化開發(fā)

四、阿里云大數(shù)據(jù)ACP認(rèn)證

1.電影評價(jià)數(shù)據(jù)的采集2.基于LBS的熱點(diǎn)店鋪搜索 3.搭建社交好友推薦系統(tǒng) 4.TensorFlow框架識(shí)別圖片5.模擬搭建數(shù)據(jù)中心 6.數(shù)據(jù)倉庫系統(tǒng)的運(yùn)維優(yōu)化 7.搭建運(yùn)營工單數(shù)據(jù)分析系統(tǒng)8.海量電力設(shè)備監(jiān)測數(shù)據(jù)分析

大數(shù)據(jù)擴(kuò)展

一、大數(shù)據(jù)系統(tǒng)管理優(yōu)化

1.提升系統(tǒng)的高可靠性 (High Availability)2.提升Hive的高可靠性 3.提升系統(tǒng)的安全性 - 認(rèn)證(Authentication)4.授權(quán)（Authorizatioin）及審計(jì)(Auditing) 5.數(shù)據(jù)保護(hù)

二、結(jié)業(yè)典禮

結(jié)業(yè)典禮

CC服務(wù)

一、大數(shù)據(jù)系統(tǒng)管理優(yōu)化

1.初識(shí)matplotlib2.matplotlib常用設(shè)置及繪圖方法 3.初識(shí)pyecharts4.pyecharts繪制常用圖形 5.數(shù)據(jù)保護(hù)

二、機(jī)器學(xué)習(xí)

項(xiàng)目實(shí)戰(zhàn)—機(jī)器學(xué)習(xí)實(shí)戰(zhàn)（預(yù)測房價(jià)數(shù)據(jù)）

三、面試與工作經(jīng)驗(yàn)指導(dǎo)

面試題解析

第四階段 —— Spark

一、Scala編程

1.Scala開發(fā)環(huán)境設(shè)置2.Scala編程 3.數(shù)據(jù)類型與集合 4.Scala函數(shù)編寫 5.類和特征以及對象6.Scala高級 7.Scala(Regular Expression)正則表達(dá)式 8.ScalaAPI及使用 9.Scala中的Java集成使用 10.Scala異常處理

二、Spark Core

1.Spark概述及架構(gòu)2.RDD 概述 3.RDD Transformation&Action 4.數(shù)據(jù)分區(qū)(Partition)與Shuffle5.RDD 緩存與檢查點(diǎn) 6.Spark Shell7.Spark RDD應(yīng)用

三、Spark SQL

1.Spark SQL API介紹2.Spark SQL優(yōu)化器 3.DataFrame與DataSet 4.Spark SQL集成Hive5.Spark SQL Shell編程

四、Spark GraphX

1、Spark GraphX 數(shù)據(jù)模型及API2、圖形數(shù)據(jù)分析管道 - 案例介紹 3、項(xiàng)目練習(xí) - 航班飛行網(wǎng)圖分析

五、Spark 機(jī)器學(xué)習(xí)

1.機(jī)器學(xué)習(xí)的步驟2.Spark MLlib概述 3.Spark MLlib數(shù)據(jù)類型 4.Labeled Point概念 5.SVM分類介紹 6.K-Means聚類介紹7.Spark ML介紹

第五階段 —— Python

一、Python編程

1.Python環(huán)境搭建及Python數(shù)據(jù)類型2.Python基礎(chǔ)及函數(shù) 3.Python I/O及文件讀寫 4.Python面向?qū)ο缶幊?/span> 5.NumPy及Pandas庫

二、Python數(shù)據(jù)爬取

1.Python實(shí)施Web數(shù)據(jù)爬取的基本原理和方法構(gòu)2.使用LXML Python庫進(jìn)行Web數(shù)據(jù)爬取 3.Scrapy進(jìn)行Web數(shù)據(jù)爬取4.PySpider服務(wù)進(jìn)行Web數(shù)據(jù)爬取 5.實(shí)戰(zhàn)爬取領(lǐng)英公共數(shù)據(jù) 6.實(shí)戰(zhàn)爬取雅虎金融數(shù)據(jù)

三、Spark SQLPython數(shù)據(jù)采集、整理與清洗

1.數(shù)據(jù)采集的數(shù)據(jù)源與基本方法2.數(shù)據(jù)清洗的基本流程與方法 3.使用Python實(shí)施數(shù)據(jù)清洗 4.使用Python實(shí)施數(shù)據(jù)校驗(yàn)5.元數(shù)據(jù)并理解其在大數(shù)據(jù)環(huán)境中的重要作用6.數(shù)據(jù)存儲(chǔ)、處理、集成、分析、服務(wù)等基本概論

四、Python機(jī)器學(xué)習(xí)

1.機(jī)器學(xué)習(xí)概述2.Spark機(jī)器學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)及流程 3.機(jī)器學(xué)習(xí)模型概述 4.分類（Classification）模型 5.聚類（Clustering）模型 6.推薦（Recommendation）模型 7.sklearn庫的使用8.項(xiàng)目實(shí)戰(zhàn)：圖像分析

五、PySpark

1.PySpark架構(gòu)介紹2.Anaconda/Jupyter Notebook使用 3.PySpark的集成及使用

第六階段 —— 項(xiàng)目實(shí)戰(zhàn)

一、用戶興趣取向分析

1.項(xiàng)目分析2.Kafka與Flume的應(yīng)用開發(fā) 3.Hive ETL4.PySpark完成機(jī)器學(xué)習(xí) 5.Oozie完成工作流調(diào)度6.Spark Streaming實(shí)現(xiàn)實(shí)時(shí)預(yù)測 7.Tableau可視化開發(fā) 8.Cassandra、Redis的應(yīng)用9.NiFi的使用 10.用戶興趣取向分析項(xiàng)目實(shí)戰(zhàn)開發(fā)

二、股票數(shù)據(jù)流實(shí)時(shí)分析

1.項(xiàng)目介紹及數(shù)據(jù)格式定義2.Apache Kafka開發(fā)（連接器與流處理） 3.基于Confluent的股票元數(shù)據(jù)管理及應(yīng)用 4.Flink流數(shù)據(jù)處理及實(shí)時(shí)分析5.Flink實(shí)施股票的實(shí)施分析 6.Grafana/Zeppelin數(shù)據(jù)可視化 7.股票數(shù)據(jù)扒取項(xiàng)目開發(fā)

三、教育平臺(tái)大數(shù)據(jù)分析

1.項(xiàng)目介紹及數(shù)據(jù)格式定義2.Apache Kafka開發(fā)（連接器與流處理） 3.Flume采集數(shù)據(jù) 4.Hive數(shù)據(jù)分析及處理5.Spark Streaming實(shí)現(xiàn)數(shù)據(jù)處理 6.工作流調(diào)度 7.可視化開發(fā)

四、在線教育全文檢索平臺(tái)

1.通過Python爬蟲獲取數(shù)據(jù)2.將爬取數(shù)據(jù)存入HBase 3.構(gòu)建ELK全文檢索服務(wù) 4.實(shí)現(xiàn)全文檢索功能5.實(shí)現(xiàn)web操作頁面

第七階段 —— 大數(shù)據(jù)系統(tǒng)管理優(yōu)化

一、提升系統(tǒng)的高可靠性 (High Availability)

1.HDFS HA高可用原理及實(shí)現(xiàn)2.YRAN HA高可用原理及實(shí)現(xiàn) 3.Hive HA高可用原理及實(shí)現(xiàn)

二、提升系統(tǒng)的安全性 - 認(rèn)證(Authentication)

1.規(guī)則用戶管理 2.Kerberos認(rèn)證 3.用戶名(User Name)及密碼(Password)認(rèn)證 4.認(rèn)證密匙（Tokens）5.身份扮演（Impersonation）

三、授權(quán)（Authorization）及審計(jì)(Auditing)

1.HDFS授權(quán)2.HDFS擴(kuò)展使用控制（Extended ACL） 3.Apache Ranger介紹和使用 4.HDFS，YARN及MapReduce審計(jì)日志（logs）5.Hive審計(jì)日志（logs） 6.Apache Ranger審計(jì)框架（Framework）介紹 7.日志分析

四、數(shù)據(jù)保護(hù)

1.數(shù)據(jù)加密（Data Encryption）2.加密（Encryption）及鑰匙管理（Key Management) 3.HDFS數(shù)據(jù)加密4.Apache Ranger KMS介紹和使用

第八階段 —— 阿里云平臺(tái)

一、阿里云平臺(tái)

1.阿里云平臺(tái)概述 2.使用阿里云平臺(tái)

二、實(shí)驗(yàn)環(huán)境搭建

1.使用阿里云平臺(tái)進(jìn)行實(shí)驗(yàn)環(huán)境搭建 2.實(shí)驗(yàn)環(huán)境的使用流程

三、阿里云項(xiàng)目訓(xùn)練

1.1.阿里云平臺(tái)項(xiàng)目講解 2.阿里云平臺(tái)項(xiàng)目訓(xùn)練

四、阿里云認(rèn)證指導(dǎo)

1.阿里云認(rèn)證課程ACA指導(dǎo)2.阿里云認(rèn)證課程ACP指導(dǎo)面

第九階段 —— CC服務(wù)