ความเข้าใจในการสร้างไฟล์แบ็คเอนด์เพื่อให้การดาวน์โหลดไฟล์ไคลเอนต์รวดเร็ว

ฉันคิดว่าเซิร์ฟเวอร์ของคุณนี้มีการเชื่อมต่ออินเทอร์เน็ตที่ดีและมีต้นทางในวงกว้าง หากเป็นกรณีนี้ ปัจจัยจำกัดเมื่อมีไคลเอ็นต์เพียงไม่กี่เครื่องเท่านั้นที่ดาวน์โหลดไฟล์เพียงไม่กี่ไฟล์ก็คือแบนด์วิธของไคลเอ็นต์เหล่านี้ ดังนั้นคุณจะได้รับความเร็วสูงสุดเท่ากับแบนด์วิธดาวน์สตรีมของลูกค้าของคุณ ดังนั้นการนำไลบรารีเซิร์ฟเวอร์ HTTP ที่มีอยู่ทั่วไปมาให้บริการการดาวน์โหลดก็เพียงพอแล้ว

ในกรณีที่การใช้งานแบ็กเอนด์ของคุณมีความสำคัญจริงๆ และสามารถปรับปรุงประสิทธิภาพการดาวน์โหลดได้ ก็คือผู้ใช้จำนวนมากกำลังเชื่อมต่อกับเซิร์ฟเวอร์ของคุณและดาวน์โหลดไฟล์จำนวนมาก ก่อนอื่นมีประเด็นต่อไปนี้ที่ต้องพิจารณา:

• TCP มีเวลาเริ่มต้น เมื่อคุณเปิดการเชื่อมต่อครั้งแรก อัตราการดาวน์โหลดจะเริ่มเพิ่มขึ้นอย่างช้าๆ จนกระทั่งถึงระดับสูงสุด เพื่อลดเวลานี้ เมื่อดาวน์โหลดไฟล์หลายไฟล์ การเชื่อมต่อที่เปิดสำหรับการดาวน์โหลดไฟล์หนึ่งควรใช้ซ้ำกับไฟล์ถัดไป

• การดาวน์โหลดไฟล์จำนวนมากพร้อมกัน (บนฝั่งไคลเอ็นต์) นั้นไม่สมเหตุสมผลเมื่อแบนด์วิธเป็นปัจจัยจำกัด เนื่องจากไคลเอนต์ต้องเริ่มการเชื่อมต่อ TCP จำนวนมาก และข้อมูลจะถูกแยกส่วนเมื่อเขียนลงดิสก์ หรือ (เมื่อจัดสรรล่วงหน้า) ดิสก์ จะค่อนข้างยุ่งในขณะที่กระโดดไปมาระหว่างภาคต่างๆ

• โดยทั่วไปเซิร์ฟเวอร์ของคุณควรใช้ไลบรารี IO ที่ไม่ปิดกั้น (เช่น java.nio) และงดเว้นจากการสร้างเธรดต่อการเชื่อมต่อที่เข้ามา เนื่องจากสิ่งนี้ทำให้เกิด thrashing ซึ่งจะทำให้ประสิทธิภาพเซิร์ฟเวอร์ของคุณลดลงอย่างมากอีกครั้ง

หากคุณมีไคลเอนต์จำนวนมากที่ดาวน์โหลดจากเซิร์ฟเวอร์ของคุณพร้อมกัน ขีดจำกัดที่คุณอาจจะถึงคือ:

• ขีดจำกัดอัปสตรีมของผู้ให้บริการของคุณ

• ความเร็วในการอ่านฮาร์ดไดรฟ์ของคุณ (SSD มี ~ 500MB/s เท่าที่ฉันแจ้ง)

เซิร์ฟเวอร์ของคุณสามารถลองเก็บไฟล์ที่มีการร้องขอบ่อยที่สุดในหน่วยความจำของเขา และให้บริการเนื้อหาจากที่นั่น (DDR3 RAM เข้าถึงความเร็วได้ 17GB/วินาที) ฉันสงสัยว่าคุณมีไฟล์เพียงไม่กี่ไฟล์บนเซิร์ฟเวอร์ของคุณที่คุณสามารถแคชไฟล์ทั้งหมดไว้ใน RAM ของเซิร์ฟเวอร์ของคุณได้

ดังนั้นงานวิศวกรรมหลักจึงอยู่ที่การเลือกอย่างชาญฉลาดว่าเนื้อหาใดควรแคชและเนื้อหาใดไม่ควรแคช ซึ่งสามารถทำได้ตามลำดับความสำคัญโดยการกำหนดลำดับความสำคัญที่สูงกว่าให้กับไฟล์บางไฟล์หรือโดยการวัดที่เข้ารหัสความน่าจะเป็นของไฟล์เดียวที่จะดาวน์โหลดในอีกไม่กี่นาทีข้างหน้า หรือเพียงแค่ไฟล์ที่ไคลเอนต์ส่วนใหญ่ดาวน์โหลด ณ จุดนี้

ด้วยข้อพิจารณาดังกล่าว คุณสามารถขยายขีดจำกัดของเซิร์ฟเวอร์ดาวน์โหลดของคุณไปจนถึงจุดหนึ่งซึ่งการปรับปรุงเพียงอย่างเดียวสามารถทำได้โดยการแจกจ่ายหรือจำลองไฟล์ของคุณไปยังเซิร์ฟเวอร์จำนวนมาก

หากคุณกำลังมุ่งไปสู่ทิศทางที่ต้องให้บริการลูกค้าหลายล้านคนพร้อมกัน คุณควรพิจารณาซื้อบริการดังกล่าวจาก CDN พวกเขามีความเชี่ยวชาญในการจัดส่งที่รวดเร็วและมีเซิร์ฟเวอร์อัปสตรีมจำนวนมากใน ASes ส่วนใหญ่ เพื่อให้ลูกค้าทุกคนสามารถดาวน์โหลดไฟล์ของเขาจากเซิร์ฟเวอร์ CDN ภูมิภาคได้

ฉันรู้ว่าฉันไม่ได้ให้อัลกอริทึมหรือตัวอย่างโค้ดใดๆ แต่ฉันไม่ได้ตั้งใจที่จะตอบคำถามนี้ทั้งหมด ฉันแค่อยากจะให้แนวทางและความคิดที่สำคัญแก่คุณในหัวข้อนั้น ฉันหวังว่าอย่างน้อยคุณก็สามารถใช้ความคิดเหล่านี้สำหรับโครงการของคุณได้