เรียนรู้การพัฒนา Big Data ด้วยเทคโนโลยีที่หลากหลาย Hadoop, Google Cloud Platform, AWS, Azure Hadoop HDFS, Hive, Apache Spark, Apache AirFlow Cloud Storage, Hadoop as a Service, Data warehouse as a Service
คำอธิบายหลักสูตร
ปัจจุบันมีการใช้เทคโนโลยีที่หลากหลายสำหรับจัดการและประมวลข้อมูลขนาดใหญ่ (Big Data) ทั้ง on-Premises Software และ on-Cloud Services ความเข้าใจในเรื่องความแตกต่างระหว่างเทคโนโลยีจึงเป็นสิ่งสำคัญต่อการเลือกใช้ให้เหมาะสมกับงานและความต้องการทางธุรกิจ ด้วยเหตุนี้ วิศวกรข้อมุลในยุคสมัยใหม่ (Modern Data Engineer) ซึ่งมีบทหน้าที่ในการออกแบบและใช้งาน Data pipeline ที่เป็นการผสมผสานบูรณาการระหว่างเทคโนโลยีในแบบ Multi-Clouds หรือ Multi-Platforms จะต้องได้รับการพัฒนาความรู้ของตนเอง เพื่อให้ได้รับประโยชน์สูงสุดจากข้อมูลและใช้งานเทคโนโลยีต่างๆ ให้เกิดประโยชน์สูงสุดต่อไป
หลักสูตร Practical Big Data Engineer เป็นหลักสูตรที่ต้องการพัฒนาให้ผู้เรียนได้เข้าใจถึงการออกแบบสถาปัตยกรรมระบบ และ Data pipeline ให้มีความเหมาะสมกับโจทย์ทางธุรกิจ และสามารถใช้เครื่องมือที่หลากหลายในการจัดการข้อมูลและประมวลผลข้อมูล ซึ่งรวมถึงการทำ Big Data Analytics อย่างเช่น Descriptive Analytics ได้อย่างมีประสิทธิภาพ คณะผู้สอนได้นำประสบการณ์ตรงจากการเป็นผู้ลงมือทำ งานด้าน Data Engineer มาถ่ายทอดให้ความรู้กับผู้เรียน ผ่านการบรรยายภาคแนวคิดทฤษฎีต่างๆ การสาธิต และการให้ผู้เรียนลงมือปฏิบัติ (Lab/Hands-on) ด้วยการใช้เครื่องมือต่างๆ โดยใช้ระบบบน Cloud Platform สามรายคือ Google Cloud Platform,, Microsoft Azure และ AWS โดยมีการสอน Services ต่างๆอาทิ ช่น Apache Spark, Google Cloud Storage, Google Dataproc, Google BigQuery, Google AI Platform, Azure DataLake, Azure HDInsight, Amazon S3, Amazon EMR, Amazon Athena, Amazon Sagemaker เป็นต้น
- Interactive Online Training : ผ่าน Program Zoom (สำหรับการเรียน Interactive Online 16 ครั้ง)
ทุกวันจันทร์ และ พุธ เวลา 13.00 น. - 16.00 น. - Physical Training : เรียนรู้การทำปฎิบัติการในวันศุกร์ 2 ครั้ง แบบเต็มวัน เวลา 9.00-16.00 น.
อบรมที่สถาบันไอเอ็มซี อาคารชุดสกุลไทย สุรวงศ์ ทาวเวอร์ ชั้น 8
(ใกล้ MRT สามย่าน ทางออก 1) >> See Map
- บุคคลทั่วไปที่สนใจจะพัฒนา Big Data และต้องการเป็น Big Data Engineer โดยต้องมีความรู้พื้นฐานด้านไอที
ความรู้เบื้องต้นของผู้อบรม
- มีความรู้พื้นฐานด้านการเขียนโปรแกรมพื้นฐาน หรือเขียนคอมพิวเตอร์ภาษาใดภาษาหนึ่งได้
- มีความสนใจงานด้านวิเคราะห์และการพยากรณ์ข้อมูล
Module 1 :
Data Engineering in Big Data Ecosystem (2 Interactive Online Classes)- Big Data ในสภาพแวดล้อมทางธุรกิจที่หลากหลาย
- ความสำคัญของข้อมูลขนาดใหญ่ที่มีต่อการดำเนินงานด้านวิศวกรรมข้อมูล
- เทคโนโลยี Big Data และตัวอย่างการประยุกต์ใช้งานในประเทศไทย
Module 2 :
Designing Modern Big Data Architecture (2 Interactive Online Classes)- Big Data Life Cycle และเทคโนโลยีเกี่ยวข้อง
- หลักการของ Data Warehouse และ Data Lake
- หลักการการออกแบบสถาปัตยกรรมข้อมูลขนาดใหญ่
- เทคโนโลยี Apache Hadoop
- Big Data as a Service บน Public Cloud Platform ต่างๆ
- เปรียบเทียบ Big Data Services บน Public cloud กับระบบบน On-premise
- Big Data Services บน Microsoft Azure, GCP, AWS, Huawai Cloud, etc.
Module 3 :
Big Data Storage and Descriptive Analytics (4 Interactive Online Classes)- Apache Hadoop HDFS & Hive
- Google Cloud Storage และ Google BigQuery, Google DataProc
- AWS S3, AWS Athena, AWS EMR
- AZure DataLake, AZure HDInsight
Module 4 :
Big Data Processing using Apache Spark (4 Interactive Online Classes)- หลักการด้าน Data Profiling, Data Cleansing, Data Transformation and Data Enhancement
- ปรับพื้นฐานการพัฒนาโค้ดโปรแกรม Python
- วิธีการสำรวจข้อมูล Exploratory Data Analysis ด้วย Apache Spark
- วิธีการปรับปรุงและปรับแต่งข้อมูลให้เหมาะสมกับการทำ Big Data Analytics ด้วย Apache Spark
Workshop 1 :
Preparing to be a Big Data Engineer (1 Day - Physical Class Workshop)- ลงมือปฎิบัติการเพื่อเรียนรู้การใช้เครื่องมือ Big Data ต่างๆ
- ทำความเข้าใจข้อมูล และสร้าง Data Profile
- การปฎิบัติการเพื่อใช้เทคโนโลยีต่างๆ ในการปรับปรุงและปรับแต่งข้อมูลให้มีคุณภาพ
Module 5 :
Data Ingestion & Fast SQL Services (2 Interactive Online Classes)- การใช้ Big Data Services ในการดึงข้อมูลเข้า Data Lake เข่น Azure Data Factory, Google Cloud Pub/Sub
- การวิเคราะห์ข้อมูลด้วย Fast SQL Services เช่น AWS Athena, Google Big Query
Module 6 :
Automate Flow Process using Apache Airflow (2 Interactive Online Classes)- Overviewing of Apache Airflow: DAGs, Connectors, Tasks and Operations
- วิธีการสร้าง Automate Flow Process เพื่อให้เกิดกระบวนการอัตโนมัติตั้งแต่นำเข้าข้อมูล ปรับแต่งข้อมูล วิเคราะห์ข้อมูล และสร้าง Reports ในแบบ Descriptive Analytics
Workshop 2 :
Real Life with Professional Big Data Engineer (1 Day - Physical Class Workshop)- ทดลองปฏิบัติงาน โดยสวมบทบาท Professional Big Data Engineer
- โจทย์ทางธุรกิจและข้อมูลจริง
- ลงมือทำโครงการปฎิบัติงานเพื่อวิเคราะห์ข้อมูล Big Data
หมายเหตุ
* 1 Interactive Online Classes คือ 3 ชม. ต่อ 1 ครั้งช่วงเวลา 13.00 - 16.00 น.
** 2 Days -Physical Class Workshop คือ เรียนเต็มวัน 09.00 - 16.00 น. จำนวน 2 วัน ที่สถาบันไอเอ็มซี
- เรียนรู้เครื่องมือที่หลากหลายของ Big Data ทั้ง On-Premise และ Cloud
- เรียนรู้ขั้นตอนต่างๆ ในการทำงานของ Data Engineer
- ได้เรียนรู้ครบวงจรของ Data Science ตั้งแต่ Business understanding → Data preparation → Model → Visualisation
- เทคโนโลยีที่ใช้ส่วนใหญ่เป็นแบบ Open-Source
- ได้ทดลองทำโปรเจคจริงใน 2 workshop
- ได้เรียนรู้กับวิทยากรที่มีประสบการณ์ในการ Implement จริง
- Upskill - Reskill ในสายงานด้าน Data ที่เป็นที่ต้องการในตลาดไอที
- Data Engineer เป็นหน้าที่สำคัญต่อการเริ่มต้นทีม Data
- พร้อมที่จะสอบเป็น Cerified Data Engineer ในระดับสากล
กำหนดการ
Regular 16,900 Baht exclude VAT
Early Bird (18 มกราคม - 11 มีนาคม 2565) 15,900 Baht exclude VAT
**รับจำนวนจำกัดเพียง 30 คน