Practical Big Data Engineer using DevOps #6

เรียนรู้การพัฒนา Big Data ด้วยเทคโนโลยีที่หลากหลาย

Hadoop, Google Cloud Platform, AWS, Azure

Hadoop HDFS, Hive, Apache Spark, Apache Airflow

Cloud Storage, Hadoop as a Service, Data warehouse as a Service

บนพื้นฐานหลักการ DevOps ด้วย Azure Pipeline

คำอธิบายหลักสูตร 

ปัจจุบันมีการใช้เทคโนโลยีที่หลากหลายสำหรับจัดการและประมวลข้อมูลขนาดใหญ่ (Big Data) ทั้ง on-Premises Software และ on-Cloud Services ความเข้าใจในเรื่องความแตกต่างระหว่างเทคโนโลยีจึงเป็นสิ่งสำคัญต่อการเลือกใช้ให้เหมาะสมกับงานและความต้องการทางธุรกิจ ด้วยเหตุนี้ วิศวกรข้อมุลในยุคสมัยใหม่ (Modern Data Engineer) ซึ่งมีบทหน้าที่ในการออกแบบและใช้งาน Data pipeline ที่เป็นการผสมผสานบูรณาการระหว่างเทคโนโลยีในแบบ Multi-Clouds หรือ Multi-Platforms จะต้องได้รับการพัฒนาความรู้ของตนเอง เพื่อให้ได้รับประโยชน์สูงสุดจากข้อมูลและใช้งานเทคโนโลยีต่างๆ ให้เกิดประโยชน์สูงสุดต่อไป

หลักสูตร Big Data Engineer Using DevOps เป็นหลักสูตรที่ต้องการพัฒนาให้ผู้เรียนได้เข้าใจถึงการออกแบบสถาปัตยกรรมระบบ และ Data pipeline ให้มีความเหมาะสมกับโจทย์ทางธุรกิจ และสามารถใช้เครื่องมือที่หลากหลายในการจัดการข้อมูลและประมวลผลข้อมูล ซึ่งรวมถึงการทำ Big Data Analytics อย่างเช่น Descriptive Analytics ได้อย่างมีประสิทธิภาพ คณะผู้สอนได้นำประสบการณ์ตรงจากการเป็นผู้ลงมือทำ งานด้าน Data Engineer มาถ่ายทอดให้ความรู้กับผู้เรียน ผ่านการบรรยายภาคแนวคิดทฤษฎีต่างๆ การสาธิต และการให้ผู้เรียนลงมือปฏิบัติ (Lab/Hands-on) ด้วยการใช้เครื่องมือต่างๆ โดยใช้ระบบบน Cloud  Platform สามรายคือ Google Cloud Platform,, Microsoft Azure และ AWS โดยมีการสอน Services ต่าง ๆ เช่น Apache Spark, Google Cloud Storage, Google Dataproc, Google BigQuery, Google AI Platform, Azure DataLake, Azure HDInsight, Amazon S3, Amazon EMR, Amazon Athena, Amazon Sagemaker รวมถึงการใช้ Azure Pipeline สำหรับการพัฒนาตามแนวทาง CI/CD เป็นต้น

ค่าใช้จ่ายในการอบรม

19,900 บาท (ไม่รวมภาษีมูลค่าเพิ่ม 7%)

**รับจำนวนจำกัดเพียง 30 คน 

ตารางการฝึกอบรม

• รุ่นที่ 6 : เริ่ม 17 พฤษภาคม 2566

ผู้สอน

• ดร.ศักดิ์ เสกขุนทด (ดูโปรไฟล์ >> ที่นี่)
• รศ.ดร.ธนชาติ นุ่มนนท์ (ดูโปรไฟล์ >> ที่นี่)
• ผศ.ดร.ณัฐวุฒิ หนูไพโรจน์ (ดูโปรไฟล์ >> ที่นี่)
• อาจารย์เอกอนันต์ ทองแท้ (ดูโปรไฟล์ >> ที่นี่)
• อาจารย์สมหมาย  กรังพานิช  (ดูโปรไฟล์ >> ที่นี่)

รูปแบบการอบรม

Physical Training

• อาคารชุดสกุลไทย สุรวงศ์ ทาวเวอร์ ชั้น 8 (ใกล้ MRT สามย่าน ทางออก 1) >> ดูแผนที่
• ทุกวันพุธ และ วันพฤหัสบดี
• เวลา 09:00 น. - 16:00 น. 

หลักสูตรที่เหมาะกับ

บุคคลทั่วไปที่สนใจจะพัฒนา Big Data และท่านที่ต้องการเป็น Big Data Professional โดยต้องมีความรู้พื้นฐานด้านไอที

ความรู้เบื้องต้นของผู้อบรม

• มีความรู้พื้นฐานด้านการเขียนโปรแกรมพื้นฐาน หรือเขียนคอมพิวเตอร์ภาษาใดภาษาหนึ่งได้
• มีความสนใจงานด้านวิเคราะห์และการพยากรณ์ข้อมูล

Schedule

Course Outline

Module 1: Data Engineering in Big Data Ecosystem ( 1 Day)

• Big Data ในสภาพแวดล้อมทางธุรกิจที่หลากหลาย (3 ชม.) 
• ความสำคัญของข้อมูลขนาดใหญ่ที่มีต่อการดำเนินงานด้านวิศวกรรมข้อมูล 
• เทคโนโลยี Big Data และตัวอย่างการประยุกต์ใช้งานในประเทศไทย (3 ชม.)
• รูปแบบการออกแบบสถาปัตยกรรมข้อมูลขนาดใหญ่

Module 2: Designing Modern Big Data Architecture (1 Day)  

• Big Data Life Cycle และเทคโนโลยีเกี่ยวข้อง (3 ชม.)
• หลักการของ Data Warehouse และ Data Lake
• หลักการการออกแบบสถาปัตยกรรมข้อมูลขนาดใหญ่ และการใช้ ChatGPT ช่วยออกแบบสถาปัตยกรรม
• เทคโนโลยี Apache Hadoop
• Big Data as a Service บน Public Cloud Platform ต่าง ๆ (3 ชม.)
• เปรียบเทียบ Big Data Services บน Public cloud กับระบบบน On-premise
•  Big Data Services บน Microsoft Azure, GCP, AWS, Huawai Cloud, etc.

Model 3: Big Data Storage and Descriptive Analytics (2 Days)

       (ทำการสาธิตและลงมือปฎิบัติการทำเทคโนโลยีต่างๆที่เกียวข้องกับการทำ  Big Data)

• Apache Hadoop HDFS & Hive (3 ชม.)
• Google Cloud Storage และ Google BigQuery, Google DataProc (3 ชม.)
• AWS S3, AWS Athena, AWS EMR (3 ชม.)
• AZure DataLake, AZure HDInsight (3 ชม.)

Module 4: Big Data Processing using Apache Spark (2 Days)

• หลักการด้าน Data Profiling, Data Cleansing, Data Transformation and Data Enhancement (3 ชม.)
• ปรับพื้นฐานการพัฒนาโค้ดโปรแกรม Python (3 ชม.)
• วิธีการสำรวจข้อมูล Exploratory Data Analysis ด้วย Apache Spark (3 ชม.) โดยมีการใช้ ChatGPT ช่วยพัฒนาโค้ด
• วิธีการปรับปรุงและปรับแต่งข้อมูลให้เหมาะสมกับการทำ Big Data Analytics ด้วย Apache Spark (3 ชม.) โดยมีการใช้ ChatGPT ช่วยพัฒนาโค้ด

Workshop #1: Preparing to be a Big Data Engineer (1 Day)

• ลงมือปฎิบัติการเพื่อเรียนรู้การใช้เครื่องมือ Big Data ต่าง ๆ
• ทำความเข้าใจข้อมูล และสร้าง Data Profile โดยมีการใช้ ChatGPT ช่วยพัฒนาโค้ด
• การปฎิบัติการเพื่อใช้เทคโนโลยีต่างๆ ในการปรับปรุงและปรับแต่งข้อมูลให้มีคุณภาพ

Module 5: Data Ingestion & Fast SQL Services (1 Day )

• การใช้ Big Data Services ในการดึงข้อมูลเข้า Data Lake เช่น Azure Data Factory, Google Cloud Pub/Sub
• การวิเคราะห์ข้อมูลด้วย Fast SQL Services เช่น Google Big Query

Module 6: Big Data DevOps (เนื้อหาใหม่ ปี 2023) (1 Day)

• แนะนำการนำหลักการด้าน DevOps มาใช้ในงานด้าน Data Engineering และ Big Data
• ทำความเข้าใจ Infrastructure as Code และ Containerize Applications
• เรียนรู้กระบวนการพัฒนาโค้ด การทดสอบ และการนำโค้ดไปขึ้นระบบ (Deployment) ตามหลักการ CI/CD pipelines ด้วย Azure Pipelines

Workshop #2 Real Life with Professional Big Data Engineer  (1 Day )

• ทดลองปฏิบัติงาน โดยสวมบทบาท Professional Big Data Engineer
• โจทย์ทางธุรกิจและข้อมูลจริง
• ลงมือทำโครงการปฏิบัติงานเพื่อวิเคราะห์ข้อมูล Big Data

Event Contact