ที่ Wallaroo วิสัยทัศน์ในการขับเคลื่อนของเราคือ ทำให้ปุ่มกดการปรับใช้ AI เป็นเรื่องง่าย และใช้งานง่าย หากเราออกแบบบางสิ่งบางอย่างและพบว่ามันไม่ใช้งานง่ายเท่าที่ควร เราก็ไม่กลัวที่จะลองอีกครั้ง หลังจากทำซ้ำสองสามครั้ง เราได้ปรับปรุงวิธีที่นักวิทยาศาสตร์ข้อมูลโต้ตอบกับแพลตฟอร์มให้เป็นแนวคิดหลัก: ไปป์ไลน์แบบจำลอง
ไปป์ไลน์ประกอบด้วยสิ่งประดิษฐ์ทั้งหมดที่จำเป็นสำหรับกระบวนการ ML เฉพาะ: ไม่เพียงแต่โมเดลที่ผ่านการฝึกอบรมทั้งหมดที่เกี่ยวข้องกับกระบวนการนั้น แต่ยังรวมถึงการประมวลผลข้อมูลระดับกลางที่อาจจำเป็นสำหรับการรันโมเดลด้วย ไปป์ไลน์ที่ง่ายที่สุดคือรุ่นเดียว ไปป์ไลน์ที่ซับซ้อนมากขึ้นอาจรวมถึงโมเดลที่เชื่อมโยงกัน หรือหลายโมเดลที่ถูกเปรียบเทียบในการทดสอบ A/B หรือการทดลองอื่นๆ
ในบทความนี้ เราจะกล่าวถึงคุณสมบัติของไปป์ไลน์ของ Wallaroo และหารือถึงข้อดีของการจัดระเบียบกระบวนการวิทยาศาสตร์ข้อมูลผ่านไปป์ไลน์
คุณสมบัติไปป์ไลน์
ขั้นตอนการประมวลผลระดับกลาง
ข้อมูลในโลกแห่งความเป็นจริงมักจะต้องได้รับการจัดเตรียมและนวดก่อนที่จะป้อนข้อมูลลงในแบบจำลอง การประมวลผลข้อมูลและวิศวกรรมคุณลักษณะนี้มักจะเป็นความรับผิดชอบของนักวิทยาศาสตร์ข้อมูลที่กำลังสร้างแบบจำลอง ตัวอย่างเช่น คุณอาจมีกระบวนการ ML ที่ใช้ข้อความภาษาธรรมชาติ เช่น คำถาม และสร้างคำตอบที่มนุษย์เข้าใจได้ สิ่งนี้ต้องการขั้นตอนการประมวลผลล่วงหน้าที่เข้ารหัสข้อความคำถามเป็นการแสดงตัวเลขที่โมเดลเข้าใจ และขั้นตอนหลังการประมวลผลที่แปลเอาต์พุตของโมเดลกลับไปเป็นข้อความที่ผู้ใช้สามารถเข้าใจได้
นักวิทยาศาสตร์ด้านข้อมูลสามารถปรับใช้ขั้นตอนการประมวลผลก่อนและหลังการประมวลผลข้อมูลที่นำมาใช้ใน Python ด้วยวิธีเดียวกับที่ใช้โมเดลผ่าน Wallaroo ผ่าน SDK ที่ใช้งานง่ายของเรา:
ด้วยการรวมขั้นตอนการประมวลผลและแบบจำลองเข้าด้วยกันในไปป์ไลน์ Wallaroo นักวิทยาศาสตร์ด้านข้อมูลสามารถบันทึกขั้นตอนการประมวลผลข้อมูลที่จำเป็น และตรวจสอบให้แน่ใจว่าทั้งสองขั้นตอนถูกนำไปใช้งานร่วมกัน
ตอนนี้สมมติว่าถึงเวลาอัปเดตโมเดลการตอบคำถามแล้ว หากโมเดลใหม่ใช้ข้อความเดียวกันทั้งก่อนและหลังการประมวลผล ก็เป็นเรื่องง่ายที่จะอัปเดตโมเดลในไปป์ไลน์ หากโมเดลใหม่ใช้ขั้นตอนการประมวลผลที่แตกต่างกัน ก็ยังคงตรงไปตรงมาในการสร้างไปป์ไลน์ใหม่และปรับใช้แทนที่เวอร์ชันเก่า!
ความสามารถในการจัดองค์ประกอบ
ไปป์ไลน์ Wallaroo ยังช่วยให้คุณสามารถเขียนแบบจำลองหลาย ๆ แบบเป็นโฟลว์เดียว รวมถึงการประมวลผลข้อมูลระดับกลางที่อาจจำเป็นระหว่างโมเดลต่างๆ ตัวอย่างเช่น คุณอาจต้องการวิเคราะห์บทความข่าวโดยแยกเอนทิตีที่กล่าวถึงในข้อความ จากนั้นทำการวิเคราะห์ความรู้สึกในข้อความนั้น รวมถึงข้อมูลเกี่ยวกับเอนทิตีที่แยกออกมา
ซึ่งอาจเกี่ยวข้องกับสองแบบจำลอง: แบบจำลองการแยกเอนทิตี และแบบจำลองการวิเคราะห์ความคิดเห็น โมเดลเหล่านี้ (และการประมวลผลข้อมูลที่เกี่ยวข้อง) อาจได้รับการพัฒนาแยกกัน ด้วย Wallaroo คุณสามารถเขียนโมเดลเหล่านี้ให้เป็นไปป์ไลน์เดียวและปรับใช้ได้
การทดสอบ A/B และการปรับใช้เงา
ไปป์ไลน์ของ Wallaroo ยังมีการกำหนดค่าการทดลองที่ชัดเจน ซึ่งช่วยให้คุณเปรียบเทียบประสิทธิภาพของโมเดลต่างๆ ในโลกแห่งความเป็นจริงได้ นี่อาจเป็นการทดสอบ A/B (หรือ A/B/C…) โดยที่อินพุตสดจะถูกสตรีมไปยังโมเดลต่างๆ ตามเกณฑ์ที่ผู้ใช้สามารถระบุได้ หรืออาจเป็นการใช้งานแบบเงา โดยที่โมเดลหลักและโมเดลเงาทั้งหมดเห็นอินพุตทั้งหมด และการคาดการณ์จะถูกบันทึก แต่จะมีเพียงการตอบสนองจากโมเดลหลักเท่านั้นที่จะถูกส่งกลับไปยังระบบ การปรับใช้เงาช่วยให้นักวิทยาศาสตร์ข้อมูล “แสดงตัวอย่าง” ว่าแบบจำลองทำงานอย่างไรกับข้อมูลในโลกแห่งความเป็นจริง ก่อนที่จะนำไปใช้จริงอย่างเต็มที่
การตรวจสอบโมเดล
นอกเหนือจากการทำให้กระบวนการปรับใช้ง่ายขึ้นแล้ว ท่อส่งของ Wallaroo ยังช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถเพิ่มการตรวจสอบและการแจ้งเตือนที่เป็นประโยชน์ได้อีกด้วย ตัวอย่างเช่น หากคุณใช้โมเดลการฉ้อโกงบัตรเครดิตกับธุรกรรมบัตรเครดิตของคุณ คุณอาจต้องการตรวจสอบและรับการแจ้งเตือนหากธุรกรรมจำนวนมากผิดปกติถูกทำเครื่องหมายว่าเป็น "การฉ้อโกง" ในระยะเวลาอันสั้น
คุณอาจต้องการตรวจสอบอินพุตของโมเดลด้วย เนื่องจากการเปลี่ยนแปลงอินพุตของโมเดลที่ผิดปกติอาจส่งผลให้เกิดพฤติกรรมของโมเดลที่ไม่คาดคิดหรือไม่พึงประสงค์ การตรวจสอบแบบจำลองของ Wallaroo สามารถระบุข้อมูลอินพุตที่อาจผิดปกติตลอดจนพฤติกรรมที่ผิดปกติของโมเดล และส่งการแจ้งเตือนเมื่อเหมาะสม เพื่อให้คุณสามารถแก้ไขปัญหาที่อาจเกิดขึ้นได้ก่อนที่จะสายเกินไป
อำนวยความสะดวกในกระบวนการปรับใช้
กระบวนการตัดสินใจแบบ ML อาจมีชิ้นส่วนที่เคลื่อนไหวได้จำนวนมาก และการนำกระบวนการเหล่านี้ไปใช้จริงอาจใช้เวลานาน “แพลตฟอร์ม Wallaroo” และไปป์ไลน์ช่วยให้นักวิทยาศาสตร์ข้อมูลจัดระเบียบและออกแบบแอปพลิเคชัน ML และ AI ที่ซับซ้อนในลักษณะที่ทำให้กระบวนการปรับใช้ง่ายขึ้น เร็วขึ้น และบำรุงรักษาได้มากขึ้น
สนใจที่จะทำการทดสอบเพื่อดูว่าไปป์ไลน์ ML ของ Wallaroo เปรียบเทียบกับโซลูชันการปรับใช้ปัจจุบันของคุณอย่างไร ติดต่อเราที่ [email protected] เพื่อให้เราตั้งค่าการทดสอบการประเมินทางเทคนิคได้
