教育訓練

Big Data 生態系統技術

課程規劃

Big Data 生態系統技術共規畫六門課程, 共 70 小時。這系列課程提供1. Docker 維運工程師, 2. Hadoop 聯邦生態系統架構師 及 3. Big Data 工具分析師 三種職能養成。

必修課程共有三門, 分別是 1. Docker 體驗營, 2. Hadoop 體驗營 及 3. Hadoop 生態系統技術, 這三門課程集中在提供 佈署Docker軟體貨櫃 及 建置Hadoop 分散運算平台的專業知識，旨在建立Big Data處理、分析、應用的根基，讓參訓學員瞭解正確的觀念與方法，重點並不在講解程式設計的細節，而在於透過體驗式教學方式的實作，經由指令剪貼方式來體驗實際的操作方式，以從體驗中驗證課程所學。

必修課程 (三門)

每位學員可在各自的 Docker 虛擬主機系統中, 啟動新一代軟體貨櫃技術, 得以完全實做多節點 Hadoop 分散式運算分析系統. 如下圖 :

職能課程 (三門)

上課方式採用自造 “樹莓迷你刀鋒” 的實作教學環境, 每二位學員配置一部 ”樹莓迷你刀鋒”, 得以完全實做Docker維運平台, Hadoop聯邦生態系統 及 Big Data 工具分析. 如下圖 :

樹莓迷你刀鋒功能與應用

1. 可攜帶, 可堆疊(Scale-out)

2. 低用電, 迷你刀鋒專用電源板

3. 可外接硬碟, 提供 USB Port 專屬電源板

4. 可安裝多種生態系統 (Spark, MongoDB, Hadoop, ..)

5. 提供多人同時擁有各自獨立的實體管理系統介面

   5.1 多人同時系統可以各自擁有專屬實體 Ethernet port

   5.2 多人同時系統可以各自擁有專屬實體 SDN

   5.3 多人同時系統可以各自擁有專屬實體 SPI , 再進化成 SPI 叢集

   5.4 多人同時擁有各自獨立的實體管理系統介面I2C , 再進化成 I2C 叢集

5.5 多人同時擁有各自獨立的實體管理系統介面UART:4 Port

6. 做為 Arduino 裝置的資控中心 (GPIO)

7. 做為 中小企業 網路儲存設備 (Hadoop NAS)

8. 做為 中小企業 商用系統伺服器 (進銷存系統，貿易系統，人資系統，ERP,…)

必修課程大綱

1. Docker 體驗營 (一日)

    -我只是個程序 (Process)

    -認識 Docker 軟體貨櫃

    -安裝 Docker Engine

    -建立軟體貨櫃 (Container)

    -建立網站軟體貨櫃

    -軟體貨櫃連通外網 (Port)

    -使用 Docker Image

    -分享 Docker Image

2. Hadoop 體驗營 (一日)

    - 認識 Big Data

    - Big Data 世界引擎(Hadoop + Docker)

    - 建立 Hadoop 分散運算基礎平台

    - HDFS 運作原理與基本操作

    - YARN 運作原理與基本操作

    - 資料分析實作 

3. Hadoop 生態系統技術 (二日)

第一章 建置 Hadoop生態系統基礎架構

     1.1 製作 Hadoop 模版軟體貨櫃

     1.2 產生多部 Hadoop 運算主機

第二章 設定與管理 HDFS分散檔案系統

2.1 設定 HDFS 分散檔案系統 (NameNode, DataNode)

     2.2 HDFS 權限設定

     2.3 使用 HDFS 分散檔案系統

第三章 設定與管理 YARN分散運算系統

     3.1 設定 YARN 分散運算系統 (Resource Manager, Node Manager)

      3.2 執行 MapReduce 運算

第四章 維護管理 Hadoop 生態系統
      4.1管理和排程工作
      4.2 Hadoop備份策略 

職能課程大綱

1. Docker 維運工程師  (二日)

   第一章Docker Image 管理

       -實作 Aufs 檔案系統

       -自造 Docker Image (一)

       -Dockerfile 最佳化

       -自造 Docker Image (二)

       -自造原生 Docker Image

       -軟體貨櫃目錄架構

       -Docker Image 目錄結構討論

   第二章Docker 網路管理

       -實作 Linux Namespace

       -Docker 內建網路架構

       -設定 Docker 網路的 IP 配置

       -自訂 Docker 網路架構

       -設定軟體貨櫃網路 (固定 IP)

   第三章Docker 運算資源管理

       -實作 Linux Control Group

       -設定軟體貨櫃記憶體大小

       -資料軟體貨櫃

   第四章Docker 雲端應用軟體貨櫃

       -自造軟體貨櫃基礎 Image

       -Docker Registry Server軟體貨櫃

       -Node.js 軟體貨櫃

       -GitBook 軟體貨櫃

2. Hadoop 聯邦生態系統架構師 (二日)

   第一章 認識 Hadoop 迷你刀鋒架構

     1.1 解焊版樹莓機規格

     1.2 刀鋒背板規格

     1.3 電源及周邊模組

第二章 安裝樹莓迷你刀鋒系統

       2.1 燒錄樹莓機作業系統

       2.2 安裝 UART 驅動程式

       2.3 豋入樹莓迷你刀鋒系統

       2.4 設定樹莓迷你刀鋒系統

第三章 快速建置Hadoop生態系統

     3.1 設定Hadoop運算主機網路系統

     3.2 設定與啟動 Hadoop分散運算系統

     3.3 Hadoop的安全性設定

第四章 HDFS 永續運作

     4.1 Rack Awareness

     4.2 設定Secondary NameNode

     4.3 新增與移除DataNode運算主機

       4.4 HDFS Balancer

       4.5 NameNode損毀救援

第五章 建置 HDFS 聯邦 (Federation) 生態系統

     5.1 認識 HDFS 聯邦生態系統

     5.2 設定 HDFS 聯邦生態系統

     5.3 設定 View File System (ViewFs)

3. Big Data 工具分析師 (二日)

   第一章 認識 Hadoop 迷你刀鋒架構

     1.1簡介迷你刀鋒硬體架構

1.2 燒錄樹莓機作業系統

      1.3 安裝 UART 驅動程式

      1.4 豋入樹莓迷你刀鋒系統

      1.5 設定樹莓迷你刀鋒系統

第二章 快速建置Hadoop生態系統

     2.1 設定Hadoop運算主機網路系統

     2.2 設定與啟動 Hadoop分散運算系統

第三章 Hadoop Streaming

      3.1 Hadoop Streaming 運作原理

      3.2 Bash Scripting 資料分析

第四章 Apache Pig 資料分析工具

   4.1 安裝與設定 Pig

      4.1 Pig 基本命令操作 (tuple)

      4.2 Pig 的實務應用

          - 大專院校名錄分析

          -人力資源調查失業率

      4.3 使用者定義函式 (User Defined Function, UDF)

第五章 Apache Hive 資料倉儲分析工具

   5.1 安裝與設定 Hive

      5.2以 Hive 建立第一個資料表

      5.3 Hive 的實務應用

          - 大專院校校別學生數分析

      5.4外部資料表   

適合對象

-  IT 專案經理、系統架構師 或 技術決策人員

- 網路管理工程師 或 應用程式設計師

- 欲親身體驗 Big Data 生態系統技術
 

報名資格

- 具有Linux 桌面系統 的 "目錄" 與 "檔案" 基本操作能力

  (建立, 刪除, 壓縮, 複製...)

- 具有 TCP/IP 網路基礎設定能力 (IP 位址, 遮罩, Default Gateway)