ใช้เวลาอ่าน 11 นาที

วงจรชีวิตการเรียนรู้ของเครื่องและวิทยาศาสตร์ข้อมูลเกี่ยวข้องกับหลายขั้นตอน แต่ละขั้นตอนต้องใช้งานที่ซับซ้อนซึ่งดำเนินการโดยทีมที่แตกต่างกัน ดังที่ Microsoft อธิบายไว้ใน บทความ นี้ เพื่อแก้ปัญหาความซับซ้อนของงานเหล่านี้ ผู้ให้บริการระบบคลาวด์ เช่น บริการของ Amazon, Microsoft และ Google จะดำเนินการงานเหล่านี้โดยอัตโนมัติ ซึ่งจะช่วยเร่งวงจรการเรียนรู้ของเครื่องตั้งแต่ต้นจนจบ บทความนี้จะอธิบายบริการคลาวด์ของ Amazon Web Services (AWS) ที่ใช้ในงานต่างๆ ในวงจรชีวิตของ Machine Learning เพื่อให้เข้าใจแต่ละบริการได้ดีขึ้น ฉันจะเขียนคำอธิบายสั้นๆ กรณีการใช้งาน และลิงก์ไปยังเอกสารประกอบ ในบทความนี้ วงจรการเรียนรู้ของเครื่องสามารถแทนที่ด้วยวงจรวิทยาศาสตร์ข้อมูลได้

การได้มาของข้อมูล

ข้อมูลสตรีมมิ่ง

ข้อมูลสตรีมมิ่งจะได้รับอย่างต่อเนื่องในขนาดที่เล็ก ข้อมูลสตรีมมิ่งเป็นข้อมูลแบบเรียลไทม์ ตัวอย่างคือข้อมูลจากโซเชียลมีเดีย กิจกรรมการซื้อบนแพลตฟอร์มอีคอมเมิร์ซ และข้อมูลจากอุปกรณ์ IoT บริการของ Amazon ที่ใช้สำหรับการสตรีมข้อมูลคือ Amazon Kinesis

Amazon Kinesis ใช้สำหรับบันทึก ประมวลผล และวิเคราะห์ข้อมูลการสตรีมแบบเรียลไทม์ Amazon Kinesis สามารถแบ่งออกเป็น

Amazon Kinesis Video Streams — สำหรับการบันทึก ประมวลผล และจัดเก็บข้อมูลวิดีโอสำหรับการวิเคราะห์และการเรียนรู้ของเครื่อง ข้อมูลนี้สามารถใช้เพื่อบันทึกข้อมูลวิดีโอระหว่างการให้คำปรึกษาผ่านวิดีโอบนเว็บเบราว์เซอร์โดยแพทย์ ตามที่อธิบายไว้ใน บทความ นี้

Amazon Kinesis Data Streams — รวบรวมและประมวลผลบันทึกข้อมูลจำนวนมากแบบเรียลไทม์ ตัวอย่างเช่น การตรวจจับการฉ้อโกงแบบเรียลไทม์ดังที่ได้อธิบายไว้ใน บทความ นี้

Amazon Kinesis Data Firehose — ใช้สำหรับให้ข้อมูลการสตรีมแบบเรียลไทม์ไปยัง Amazon S3, ตำแหน่งข้อมูล และปลายทางอื่นๆ ตัวอย่างเช่น หากต้องการตรวจหาไฮไลท์กีฬาโดยอัตโนมัติ คุณสามารถดู "บทความ" นี้

Amazon Kinesis Data Analytics มุ่งหวังที่จะประมวลผลและวิเคราะห์ข้อมูลสตรีมด้วย SQL ตัวอย่างเช่น สำหรับ การประมวลผลข้อมูลธุรกรรมบัตรเครดิต

ข้อมูลแบทช์

Batch Data คือข้อมูลในอดีต หรืออีกนัยหนึ่งคือข้อมูลที่จัดเก็บในช่วงเวลาหนึ่ง ตัวอย่างคือข้อมูลธุรกรรมของลูกค้าที่เก็บไว้นานกว่า 1 ปี เนื่องจากข้อมูลแบทช์มุ่งเน้นไปที่การจัดเก็บข้อมูล ต่อไป เราจะพูดถึง Data Lake และฐานข้อมูลใน AWS ที่ใช้ในการจัดเก็บข้อมูล

ทะเลสาบข้อมูล

Data Lake ใช้เพื่อจัดเก็บข้อมูลจำนวนมากในรูปแบบดั้งเดิม Amazon S3 ถูกใช้เป็น Data Lake

บริการจัดเก็บข้อมูลแบบธรรมดาของ Amazon (Amazon S3)

Amazon S3 เป็นบริการพื้นที่จัดเก็บอ็อบเจ็กต์ที่นำเสนอความสามารถในการปรับขนาด ความพร้อมใช้งานของข้อมูล ความปลอดภัย และประสิทธิภาพระดับชั้นนำของอุตสาหกรรม Amazon S3 เป็น Data Lake คล้ายกับฮาร์ดไดรฟ์บนคอมพิวเตอร์ของคุณที่มีโฟลเดอร์ไฟล์ แต่อยู่บนคลาวด์ นี่คือ "ตัวอย่าง"

ฐานข้อมูล

ฉันเขียนบทความเกี่ยวกับ การเลือกฐานข้อมูลที่ถูกต้องใน AWS

การประมวลผลข้อมูล

การประมวลผลข้อมูลเกี่ยวข้องกับการแปลงข้อมูลดิบเป็นรูปแบบที่สามารถใช้สำหรับการเรียนรู้ของเครื่องและกระบวนการอื่นๆ Amazon EMR และ Amazon MSK เป็นบริการที่รู้จักกันดีในการประมวลผลข้อมูล

Amazon EMR (ก่อนหน้านี้เรียกว่า Amazon Elastic MapReduce)

ตามข้อมูลของ Amazon Amazon EMR เป็นแพลตฟอร์มคลัสเตอร์ที่ได้รับการจัดการซึ่งทำให้การรันเฟรมเวิร์ก Big Data เช่น Apache Hadoop และ Apache Spark ง่ายขึ้น Amazon EMR อาจเป็น Amazon EMR บน EC2, Amazon EMR บน EKS และ Amazon แบบไร้เซิร์ฟเวอร์ มันประมวลผลและวิเคราะห์ข้อมูลจำนวนมหาศาล ตามคำพูดของ Lane Man มันถูกใช้สำหรับการประมวลผลข้อมูลขนาดใหญ่แบบขนาน ตัวอย่างเช่น การสร้างข้อมูลการฝึกอบรมสำหรับการเรียนรู้ของเครื่อง

Amazon MSK (การสตรีมที่ได้รับการจัดการสำหรับ Apache Kafka)

Amazon MSK ช่วยให้คุณสร้างและเรียกใช้แอปพลิเคชันที่ใช้ Apache Kafka เพื่อประมวลผลข้อมูลการสตรีมได้ ส่วนประกอบที่สำคัญของ Amazon MSK ได้แก่ โหนดนายหน้า โหนดผู้ดูแลสัตว์ ผู้ผลิต ผู้บริโภค ผู้สร้างหัวข้อ การดำเนินการคลัสเตอร์ บริษัทที่เพิ่งกลายเป็นยูนิคอร์นสามารถใช้สิ่งนี้ได้ และจำเป็นต้อง "ประมวลผลคำขอของยูนิคอร์น"

การทำความสะอาดข้อมูลและการโต้เถียง

การทะเลาะวิวาทข้อมูลเป็นกระบวนการในการทำความสะอาดข้อมูลที่ยุ่งเหยิงและซับซ้อนให้อยู่ในรูปแบบที่ใช้งานได้

Amazon SageMaker Data Wrangler (ข้อมูล Wrangler)

SageMaker Data Wrangler เป็นคุณสมบัติของ SageMaker Studio ที่ให้โซลูชันแบบครบวงจรในการนำเข้า จัดเตรียม แปลง สร้างคุณลักษณะ และวิเคราะห์และส่งออกข้อมูล ซึ่งจะช่วยลดเวลาในการล้าง รวบรวม และเตรียมข้อมูลสำหรับการเรียนรู้ของเครื่อง บทความ นี้อธิบายวิธีการทำความสะอาดข้อมูลสถานีชาร์จรถยนต์และรวมเข้ากับผู้รวบรวมข้อมูลของ sagemaker

การติดฉลากข้อมูล

การติดฉลากข้อมูลเกี่ยวข้องกับการเพิ่มฉลากข้อมูลเพื่อระบุข้อมูลดิบ

การติดฉลากข้อมูล Amazon Sagemaker สามารถแบ่งออกเป็น SageMaker Ground Truth และ SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus เป็นบริการแบบครบวงจรที่ช่วยให้คุณสามารถสร้างชุดข้อมูลการฝึกอบรมคุณภาพสูงในวงกว้างโดยไม่ต้องใช้ทรัพยากรของคุณเอง ตัวอย่างการสร้างข้อมูลภาพด้วย sagemaker ground Truth Plus

ความจริงพื้นฐานของ Amazon SageMaker

Amazon SageMaker Ground Truth มอบความยืดหยุ่นในการสร้างและจัดการเวิร์กโฟลว์การติดป้ายกำกับข้อมูล และจัดการบุคลากรในการติดป้ายกำกับข้อมูลของคุณเอง ตัวอย่างคือ การติดป้ายกำกับข้อความสำหรับการวิเคราะห์ความรู้สึกตามแง่มุม

การแสดงข้อมูล

การสร้างภาพข้อมูลคือการแสดงข้อมูลแบบกราฟิก หากรูปภาพมีค่าแทนคำนับพัน การแสดงภาพข้อมูลก็มีค่าเท่ากับจุดข้อมูลหลายพันจุด มีเครื่องมือแสดงภาพมากมาย เช่น Tableau และ Power BI ข้อดีของ Amazon QuickSight สำหรับการแสดงภาพคือการผสานรวมกับบริการอื่นๆ ของ Amazon ได้อย่างง่ายดาย

อเมซอน QuickSight

Amazon QuickSight เป็นบริการ Business Intelligence (BI) ระดับคลาวด์ที่คุณสามารถใช้เพื่อมอบข้อมูลเชิงลึกที่เข้าใจง่ายให้กับคนที่คุณทำงานด้วย ไม่ว่าพวกเขาจะอยู่ที่ใดก็ตาม

วิศวกรรมคุณสมบัติ

Feature Engineering คือกระบวนการแปลงข้อมูลดิบเป็นฟีเจอร์ที่ใช้ในการฝึกโมเดล Machine Learning

ร้านค้าฟีเจอร์ Amazon SageMaker

Amazon SageMaker Feature Store ใช้สำหรับการสร้าง จัดเก็บ และแชร์คุณสมบัติ Machine Learning (ML) ร้านค้าฟีเจอร์สามารถออนไลน์หรือออฟไลน์ได้ บล็อก นี้อธิบายว่า GoDaddy ใช้ที่เก็บฟีเจอร์ในวงจรการเรียนรู้ของเครื่องอย่างไร

Amazon SageMaker Notebook sagemaker

Amazon SageMaker Notebook SageMaker เป็นสมุดบันทึก Jupyter ที่เชื่อมต่อกับ Amazon EMR เพื่อการสำรวจ แสดงภาพ และเตรียมข้อมูลขนาดเพตะไบต์สำหรับ Machine Learning (ML) แบบโต้ตอบได้ รองรับการแชร์สมุดบันทึกของคุณกับเพื่อนร่วมงานเพื่อการทำงานร่วมกันผ่าน UI

การฝึกอบรมแบบจำลอง

การฝึกอบรมโมเดลในด้านวิทยาศาสตร์ข้อมูลจำเป็นต้องมีอินสแตนซ์การประมวลผลสำหรับการเรียนรู้ของเครื่อง

Amazon Elastic Compute Cloud (Amazon EC2)

Amazon EC2 มอบความสามารถในการประมวลผลที่ปรับขนาดได้ Amazon EC2 ขจัดความจำเป็นในการลงทุนด้านฮาร์ดแวร์ล่วงหน้า คุณจึงสามารถพัฒนาและปรับใช้แอปพลิเคชันได้เร็วขึ้น การประมวลผลสามารถปรับขนาดและปรับขนาดได้ตามปริมาณงานของคุณ

ชุดอเมซอน

AWS Batch ใช้สำหรับการวางแผน กำหนดเวลา และดำเนินงานบนบริการประมวลผลของ AWS เช่น AWS EC2, AWS Fargate และอินสแตนซ์สปอต จัดเตรียมทรัพยากรการคำนวณตามงานที่ส่ง

คอมไพเลอร์การฝึกอบรม SageMaker

SageMaker Training Compiler คือคอมพิวเตอร์สำหรับฝึกฝนโมเดลการเรียนรู้เชิงลึก (DL) ได้อย่างมีประสิทธิภาพมากขึ้น

การปรับแต่งไฮเปอร์พารามิเตอร์

เป็นกระบวนการในการเลือกการกำหนดค่าและรุ่นที่ดีที่สุดสำหรับงานแมชชีนเลิร์นนิง

การปรับแต่งอัตโนมัติของ SageMaker

SageMaker Auto Tuning จะทำให้กระบวนการรันงานฝึกอบรมต่างๆ เป็นไปโดยอัตโนมัติ เพื่อเลือกโมเดลที่มีประสิทธิภาพดีที่สุด

การเลือกรุ่น

ระบบอัตโนมัติ

Amazon SageMaker Autopilot จะสร้าง ฝึก และปรับแต่งโมเดล Machine Learning ที่ดีที่สุดโดยอัตโนมัติตามข้อมูลของคุณ ในขณะเดียวกันก็ช่วยให้คุณรักษาการควบคุมและการมองเห็นได้อย่างสมบูรณ์ ตัวอย่างคือการใช้ Amazon SageMaker Autopilot เพื่อจัดการกับงานการถดถอยและการจัดหมวดหมู่บนชุดข้อมูลขนาดใหญ่สูงสุด 100 GB

การทดลอง Amazon SageMaker

Amazon SageMaker Experiment คือความสามารถของ Amazon SageMaker ที่ช่วยให้คุณสามารถจัดระเบียบ ติดตาม เปรียบเทียบ และประเมินการทดลอง Machine Learning ของคุณได้

การติดตามโมเดล

การติดตามเชื้อสายของ Amazon SageMaker ML

Amazon SageMaker ML Lineage Tracking สร้างและจัดเก็บข้อมูลเกี่ยวกับขั้นตอนของเวิร์กโฟลว์ Machine Learning (ML) ตั้งแต่การเตรียมข้อมูลไปจนถึงการปรับใช้โมเดล ตัวอย่างวิธีการใช้ Lineage ของโมเดล

ดีบักเกอร์ SageMaker

โปรไฟล์ Amazon SageMaker Debugger และงานการฝึกอบรมแก้ไขข้อบกพร่องเพื่อช่วยแก้ไขปัญหาต่างๆ เช่น คอขวดของระบบ การติดตั้งมากเกินไป ฟังก์ชันการเปิดใช้งานที่อิ่มตัว และการไล่ระดับสีที่หายไป ซึ่งอาจส่งผลต่อประสิทธิภาพของโมเดล และปรับปรุงการใช้ทรัพยากรการประมวลผลและประสิทธิภาพของโมเดล ML ของคุณ การสร้างการทำนายการเปลี่ยนใจด้วยดีบักเกอร์ sagemaker

การตรวจสอบแบบจำลอง

การตรวจสอบโมเดล Amazon SageMaker

Amazon SageMaker Model Monitor ติดตามคุณภาพของโมเดล Machine Learning ของ Amazon SageMaker ในการผลิตอย่างต่อเนื่อง ตัวอย่างคือ ตรวจจับการเบี่ยงเบนของข้อมูล NLP โดยใช้ Amazon SageMaker Model Monitor แบบกำหนดเอง

Amazon SageMaker ชี้แจง

Amazon SageMaker Clarify ช่วยให้นักพัฒนาแมชชีนเลิร์นนิงมองเห็นข้อมูลและโมเดลการฝึกได้ดียิ่งขึ้น เพื่อให้สามารถระบุและจำกัดอคติและอธิบายการคาดการณ์ได้

ทะเบียนโมเดล

การลงทะเบียนโมเดล SageMaker

คุณลักษณะของการลงทะเบียนโมเดล sagemaker

  • แคตตาล็อกรุ่นสำหรับการผลิต
  • จัดการเวอร์ชันของโมเดล
  • เชื่อมโยงข้อมูลเมตา เช่น ตัวชี้วัดการฝึกอบรม กับแบบจำลอง
  • จัดการสถานะการอนุมัติของแบบจำลอง
  • ปรับใช้โมเดลเพื่อการใช้งานจริง
  • ปรับใช้งานโมเดลอัตโนมัติด้วย CI/CD

"ตัวอย่าง"

โมเดลเสิร์ฟ

การอนุมานแบบไร้เซิร์ฟเวอร์ของ Amazon SageMaker

Amazon SageMaker Serverless Inference เป็นตัวเลือกการอนุมานที่สร้างขึ้นโดยเฉพาะ ซึ่งช่วยให้คุณปรับใช้และปรับขนาดโมเดล ML ได้อย่างง่ายดาย การอนุมานแบบไร้เซิร์ฟเวอร์เหมาะอย่างยิ่งสำหรับปริมาณงานที่มีช่วงว่างระหว่างช่วงที่มีการรับส่งข้อมูลหนาแน่น และสามารถทนต่อการสตาร์ทขณะเครื่องเย็นได้

Amazon Elastic Container Registry (Amazon ECR)

Amazon ECR คือบริการรีจิสทรีอิมเมจคอนเทนเนอร์ที่ได้รับการจัดการของ AWS ที่ปลอดภัย ปรับขนาดได้ และเชื่อถือได้ ตัวอย่างเช่น วิธีที่ ReliaQuest ใช้ Amazon SageMaker เพื่อเร่งนวัตกรรม AI ได้ถึง 35 เท่า

บริการ Amazon Elastic Kubernetes (Amazon EKS)

Amazon Elastic Kubernetes Service เป็นบริการที่ได้รับการจัดการที่คุณสามารถใช้เพื่อเรียกใช้ Kubernetes บน AWS ได้โดยไม่จำเป็นต้องติดตั้ง ดำเนินการ และบำรุงรักษา Control Plane หรือโหนด Kubernetes ของคุณเอง ตัวอย่างคือ วิวัฒนาการของสถาปัตยกรรมแมชชีนเลิร์นนิงของ Cresta: การย้ายไปยัง AWS และ PyTorch

การปรับใช้โมเดล

โครงการ SageMaker

ทีมโปรเจ็กต์ SageMaker ซึ่งเป็นนักวิทยาศาสตร์ข้อมูลและนักพัฒนาสามารถแก้ไขปัญหาทางธุรกิจแมชชีนเลิร์นนิงได้โดยการสร้างโปรเจ็กต์ SageMaker ด้วยเทมเพลต MLOps ที่ SageMaker มอบให้ ซึ่งจะทำให้การสร้างโมเดลและไปป์ไลน์การปรับใช้เป็นแบบอัตโนมัติโดยใช้การผสานรวมอย่างต่อเนื่องและการส่งมอบอย่างต่อเนื่อง (CI/CD) สร้างเทมเพลตโปรเจ็กต์ SageMaker แบบกำหนดเอง — แนวทางปฏิบัติที่ดีที่สุด

Amazon SageMaker Neo

SageMaker Neo ช่วยให้นักวิทยาศาสตร์ข้อมูลและวิศวกรการเรียนรู้ของเครื่องฝึกฝนโมเดลเพียงครั้งเดียวและใช้งานได้ทุกที่ เป็นการเพิ่มประสิทธิภาพการเรียนรู้เชิงลึกสำหรับเฟรมเวิร์กและฮาร์ดแวร์ที่หลากหลาย วิธีที่ Deloitte ปรับปรุงสวัสดิภาพสัตว์ด้วย AI at the Edge โดยใช้ AWS Panorama และ AWS Neo

ผู้จัดการเวิร์กโฟลว์

ฟังก์ชันขั้นตอนของ Amazon

Amazon Step Functions ใช้สำหรับการสร้างและจัดการเวิร์กโฟลว์ เป็นออเคสตราสำหรับสร้างแอปพลิเคชัน เป็นบริการเวิร์กโฟลว์แบบเห็นภาพที่ใช้โค้ดน้อยใช้เพื่อสร้างแอปพลิเคชันแบบกระจาย ทำให้กระบวนการไอทีและธุรกิจเป็นอัตโนมัติ และสร้างไปป์ไลน์ข้อมูลและแมชชีนเลิร์นนิงโดยใช้บริการของ AWS ตัวอย่างคือ การจัดระบบไปป์ไลน์การคาดการณ์โดยใช้ AWS Step Functions

CI/CD

Amazon CodeCommit

Amazon CodeCommit เป็นบริการควบคุมแหล่งที่มาสำหรับพื้นที่เก็บข้อมูล Git ส่วนตัว ใช้เพื่อจัดเก็บและจัดการทรัพย์สินแบบส่วนตัว (เช่น เอกสาร ซอร์สโค้ด และไฟล์ไบนารี) ในระบบคลาวด์ การใช้ CodeCommit เพื่อ การเดินทางของข้อมูลอย่างต่อเนื่องสู่ความคล่องตัวในการพัฒนาและการส่งมอบข้อมูลที่เร็วขึ้น

Amazon CodeBuild

Amazon CodeBuild เป็นบริการผสานรวมอย่างต่อเนื่องที่ได้รับการจัดการเต็มรูปแบบซึ่งรวบรวมซอร์สโค้ด รันการทดสอบ และสร้างแพ็คเกจซอฟต์แวร์ที่พร้อมปรับใช้ Codebuild ถูกใช้ในบล็อกนี้เพื่อ "เพิ่มประสิทธิภาพงบประมาณและเวลาโดยการส่งงานการสังเคราะห์เสียงของ Amazon Polly จำนวนมาก"

Amazon CodePipeline

Amazon CodePipeline เป็นบริการจัดส่งอย่างต่อเนื่องที่มีการจัดการเต็มรูปแบบซึ่งช่วยให้คุณดำเนินการไปป์ไลน์การเผยแพร่ของคุณโดยอัตโนมัติเพื่อการอัปเดตแอปพลิเคชันและโครงสร้างพื้นฐานที่รวดเร็วและเชื่อถือได้ กรณีการใช้งานที่ดีคือการใช้ไปป์ไลน์โค้ดเพื่อ ปรับปรุงเวิร์กโฟลว์วิทยาศาสตร์ข้อมูลของคุณด้วยไปป์ไลน์ MLOps การฝึกอบรมหลายสาขาโดยใช้ AWS

การปรับใช้โค้ด Amazon

CodeDeploy ปรับใช้แอปพลิเคชันอัตโนมัติกับอินสแตนซ์ Amazon EC2, อินสแตนซ์ภายในองค์กร, ฟังก์ชัน Lambda ไร้เซิร์ฟเวอร์ หรือบริการ Amazon ECS มันช่วยเพิ่มความพร้อมใช้งานของแอปพลิเคชันให้สูงสุด

ผู้ตรวจสอบ Amazon CodeGuru

Amazon CodeGuru ดำเนินการตรวจสอบโค้ดและจัดทำโปรไฟล์แอปพลิเคชันโดยอัตโนมัติ ช่วยปรับปรุงคุณภาพโค้ดและลดปัญหาประสิทธิภาพของแอปพลิเคชัน ช่วยในการระบุและประมาณค่าบรรทัดโค้ดที่มีราคาแพง ใช้การวิเคราะห์โปรแกรมและการเรียนรู้ของเครื่องเพื่อปรับปรุงโค้ด

Amazon CodeArtifact

CodeArtifact เป็นตัวจัดการแพ็คเกจ คุณสมบัติของ CodeArtifact

  • จัดเก็บพัสดุอย่างปลอดภัย
  • การแชร์แพ็คเกจระหว่างการพัฒนาแอปพลิเคชัน
  • นำเข้าจากที่เก็บข้อมูลของบุคคลที่สาม ทำให้ง่ายสำหรับองค์กรในการจัดเก็บและแบ่งปันแพ็คเกจซอฟต์แวร์ที่ใช้สำหรับการพัฒนาแอปพลิเคชันอย่างปลอดภัย กรณีการใช้งาน โดยใช้ codeartifact สำหรับการพัฒนาแอปพลิเคชันแบบไร้เซิร์ฟเวอร์

บทสรุป

บทความนี้จะกล่าวถึง Amazon Web Services ทั้งหมดที่ใช้ในวงจรชีวิตวิทยาศาสตร์ข้อมูลที่แตกต่างกัน เราได้ให้คำอธิบายโดยย่อของแต่ละบริการ

เผยแพร่ครั้งแรกที่ https://trojrobert.github.io เมื่อวันที่ 30 มกราคม 2022