จะปรับขนาดมาสก์การแบ่งส่วนรูปภาพได้อย่างไร?

หากคุณต้องการปรับขนาดรูปภาพและต้องการให้รูปภาพผลลัพธ์มีเพียงค่าจากช่วงดั้งเดิม คุณสามารถใช้การแก้ไขเพื่อนบ้านที่ใกล้ที่สุดได้

หากคุณปรับขนาดโดยใช้การแก้ไขอื่นที่ไม่ใช่เพื่อนบ้านที่ใกล้ที่สุด คุณจะได้รับค่าในช่วง [0, 255] จริงๆ นี่ไม่จำเป็นต้องเป็นสิ่งที่ไม่ดี หากฟังก์ชันการสูญเสียของคุณเป็นแบบข้ามเอนโทรปี คุณสามารถมองค่าเหล่านี้เป็นป้ายกำกับแบบอ่อนได้ นั่นคือพิกเซลนี้ไม่มีการมอบหมายที่ยากให้กับเป้าหมายใด ๆ แต่เป็นการกำหนดที่นุ่มนวลและน่าจะเป็นให้กับทั้งสองอย่าง

การสรุปสิ่งนี้สำหรับมาสก์การแบ่งส่วนหลายป้ายกำกับ และการเพิ่มทางเรขาคณิตที่ซับซ้อนยิ่งขึ้น (เช่น การหมุน ความสัมพันธ์ ...) คำถามคือ
จะใช้ส่วนเสริมกับรูปภาพเป้าหมายแบบแยกได้อย่างไร

ตัวอย่างเช่น คุณมีมาสก์การแบ่งส่วนความหมายที่มี 81 คลาส (นั่นคือ แต่ละพิกเซลมีค่าใน {0, 1, ..., 80} ซึ่งระบุคลาสของพิกเซลนั้น มาสก์เป้าหมายเหล่านี้จะถูกจัดเก็บเป็น ภาพ RGB ที่จัดทำดัชนี คุณต้องการใช้การเพิ่มรูปทรงเรขาคณิตกับภาพที่นำเข้าและมาสก์เป้าหมาย

วิธีที่รวดเร็วและสกปรกคือใช้การแก้ไขเพื่อนบ้านที่ใกล้ที่สุด ตามที่เสนอโดย Amitay Nachmani

วิธีที่แม่นยำและถูกต้องมากขึ้นคือการแปลงมาสก์เป้าหมายจากมาสก์ HxW แบบแยก (จำนวนเต็ม) ไปเป็น CxHxW แผนที่ความน่าจะเป็น นั่นคือ แต่ละช่องสัญญาณจะสอดคล้องกับความน่าจะเป็นของแต่ละพิกเซลที่จะเป็นของ แต่ละคลาสจากทั้งหมด 81 คลาส
โปรดทราบว่านี่ไม่ใช่ ไม่ใช่ การแบ่งส่วนที่คาดการณ์ไว้ (เอาท์พุตของเน็ต) แต่เป็น เป้าหมาย ที่เน็ตควรทำนาย วิธีนี้ช่วยให้คุณแสดงพิกเซลเป้าหมายแต่ละพิกเซลเป็นเวกเตอร์ 81 สลัว 1 จุดร้อน
ด้วยการแสดงนี้ คุณสามารถใช้การเสริมกับแต่ละช่องสัญญาณแยกกัน โดยใช้วิธีประมาณค่า แบบเดียวกัน เช่นเดียวกับที่คุณใช้ สำหรับอิมเมจอินพุตนั้นเอง (โดยปกติจะเป็นไบคิวบิก)
ตอนนี้ สำหรับแต่ละพิกเซลเป้าหมาย ความน่าจะเป็นของมันที่จะอยู่ในแต่ละคลาสจาก 81 คลาส เวกเตอร์เหล่านี้จะไม่ร้อน 1 อีกต่อไป (เนื่องจากการประมาณค่าและการแปลง ). คุณสามารถใช้ argmax เพื่อแปลงแผนที่นี้กลับไปเป็นการกำหนดคลาสต่อพิกเซลแบบฮาร์ด หรือ แก้ไขฟังก์ชันการสูญเสียเพื่อทำงานกับป้ายกำกับแบบอ่อนเหล่านี้ เพื่อให้จับขอบเขตระหว่างภูมิภาคต่างๆ ในรูปภาพได้ดีขึ้น