มัลติเธรดที่มีจำนวนเธรดจำนวนมาก

ประการแรก คุณใช้เธรด Python เริ่มต้นปกติที่มีอยู่ในล่าม Python 2.7 เริ่มต้น (CPython) จริง ๆ หรือไม่ และโค้ดทั้งหมดของคุณเป็น Python หรือไม่ หากเป็นเช่นนั้น คุณอาจไม่ได้ใช้ CPU คอร์หลายคอร์จริงๆ เนื่องจากการล็อคล่ามส่วนกลางที่ CPython มี (ดู https://wiki.python.org/moin/GlobalInterpreterLock) คุณอาจลองรันโค้ดของคุณภายใต้ Jython เพื่อตรวจสอบว่าประสิทธิภาพดีขึ้นหรือไม่

คุณควรคิดใหม่เกี่ยวกับสถาปัตยกรรมแอปพลิเคชันของคุณและเปลี่ยนไปใช้การกำหนดเวลากิจกรรมด้วยตนเองแทนการใช้เธรด หรืออาจลองใช้บางอย่างเช่น Greenlets (https://stackoverflow.com/a/15596277/1488821) แต่นั่นอาจหมายถึงการกำหนดเวลาที่แม่นยำน้อยลงเนื่องจากขาดความขนาน

สำหรับฉัน 1,600 เธรดดูเหมือนมากแต่ไม่ได้มากเกินไปเนื่องจากเป็นการจำลอง หากนี่เป็นแอปพลิเคชันที่ใช้งานจริง ก็อาจจะไม่คุ้มค่ากับการผลิต

เครื่องจักรมาตรฐานไม่ควรมีปัญหาในการจัดการ 1600 เธรด สำหรับระบบปฏิบัติการ บทความนี้ สามารถให้ข้อมูลแก่คุณได้ พร้อมข้อมูลเชิงลึกบางอย่าง

เมื่อพูดถึงโค้ดของคุณ สคริปต์ Python ไม่ใช่แอปพลิเคชันแบบเนทีฟ แต่เป็นสคริปต์ที่แปลความหมาย และด้วยเหตุนี้จึงต้องใช้ทรัพยากร CPU มากขึ้นในการดำเนินการ

ฉันขอแนะนำให้คุณลองใช้การจำลองใน C หรือ C++ แทน ซึ่งจะสร้างแอปพลิเคชันเนทีฟที่ควรดำเนินการอย่างมีประสิทธิภาพมากขึ้น

อย่าใช้เกลียวเพื่อสิ่งนั้น หากยึดติดกับ Python ให้โหนดดำเนินการทีละรายการ หากประสิทธิภาพที่คุณได้รับทำได้ คุณจะไม่ต้องใช้ C/C++ หากการกระทำที่แต่ละโหนดทำนั้นเรียบง่าย นั่นอาจได้ผล อย่างไรก็ตามไม่มีเหตุผลใดที่จะใช้เธรดใน Python เลย เธรด Python นั้นส่วนใหญ่ใช้งานได้สำหรับการบล็อก I/O ไม่ให้บล็อกโปรแกรมของคุณ ไม่ใช่สำหรับการใช้งานเคอร์เนล CPU หลายตัว

หากคุณต้องการใช้การประมวลผลแบบขนานจริงๆ และเขียนโหนดของคุณราวกับว่าโหนดเหล่านั้นถูกแยกออกจากกันจริงๆ และแลกเปลี่ยนโดยใช้ข้อความเท่านั้น คุณสามารถใช้ Erlang (http://www.erlang.org/) มันเป็นภาษาที่ใช้งานได้ซึ่งเหมาะอย่างยิ่งสำหรับการดำเนินการกระบวนการคู่ขนานและแลกเปลี่ยนข้อความ กระบวนการ Erlang ไม่ได้แมปกับเธรด OS และคุณสามารถสร้างเธรดได้นับพันรายการ อย่างไรก็ตาม Erlang เป็นภาษาที่ใช้งานได้จริงและอาจดูแปลกมากหากคุณไม่เคยใช้ภาษาดังกล่าว และมันก็ไม่ได้เร็วมากเช่นกัน ดังนั้น เช่นเดียวกับ Python ไม่น่าจะรองรับ 1,600 การกระทำทุกๆ 5 มิลลิวินาที เว้นแต่ว่าการกระทำจะค่อนข้างง่าย

สุดท้าย หากคุณไม่ได้รับประสิทธิภาพที่ต้องการโดยใช้ Python หรือ Erlang คุณสามารถย้ายไปที่ C หรือ C++ ได้ อย่างไรก็ตาม อย่าใช้ 1600 เธรด ในความเป็นจริง การใช้เธรดเพื่อให้ได้ประสิทธิภาพนั้นสมเหตุสมผลก็ต่อเมื่อจำนวนเธรดไม่เกินจำนวนเคอร์เนลของ CPU อย่างมาก รูปแบบเครื่องปฏิกรณ์ (ที่มีเกลียวเครื่องปฏิกรณ์หลายเส้น) คือสิ่งที่คุณต้องการในกรณีนี้ (http://en.wikipedia.org/wiki/Reactor_pattern) มีการนำรูปแบบเครื่องปฏิกรณ์ไปใช้อย่างดีเยี่ยมในไลบรารี boost.asio มีการอธิบายไว้ที่นี่: http://www.gamedev.net/blog/950/entry-2249317-a-guide-to-getting-started-with-boostasio/

ความคิดสุ่มบางอย่างที่นี่:

ฉันทำได้ค่อนข้างดีกับหลายร้อยเธรดที่ทำงานเช่นนี้ใน Java; สามารถทำได้ด้วยภาษาที่ถูกต้อง (แต่ฉันไม่ได้ลองสิ่งนี้ใน Python)

ในภาษาใดก็ได้ คุณสามารถรันโค้ดโหนดหลักได้ในเธรดเดียว เพียงแค่ให้มันวนซ้ำอย่างต่อเนื่อง โดยรันโค้ดสำหรับแต่ละมาสเตอร์ในแต่ละรอบ คุณจะสูญเสียประโยชน์ของหลายคอร์ในลักษณะนั้น ในทางกลับกัน คุณจะสูญเสียปัญหาเรื่องมัลติเธรดไปด้วยเช่นกัน (คุณอาจมี 4 เธรดดังกล่าวโดยใช้คอร์ แต่ได้รับอาการปวดหัวแบบมัลติเธรดกลับมา มันจะทำให้ค่าใช้จ่ายของเธรดลดลงเช่นกัน แต่จากนั้นก็เกิดการบล็อก...)

ปัญหาใหญ่ประการหนึ่งที่ฉันมีคือเธรดที่บล็อกกัน การเปิดใช้งาน 100 เธรดเพื่อเรียกใช้เมธอดเดียวกันบนออบเจ็กต์เดียวกันในเวลาเดียวกันโดยไม่ต้องรอซึ่งกันและกันต้องใช้ความคิดและการวิจัยเล็กน้อย ฉันพบว่าโปรแกรมมัลติเธรดของฉันในตอนแรกมักใช้เพียง 25% ของ CPU 4 คอร์ แม้ว่าจะใช้งานหมดก็ตาม นี่อาจเป็นเหตุผลหนึ่งที่ทำให้คุณทำงานช้า

อย่าให้โหนดทาสของคุณส่งข้อมูลซ้ำ โหนดหลักควรมีชีวิตขึ้นมาเพื่อตอบสนองต่อข้อมูลที่เข้ามา หรือ มีวิธีใดที่จะจัดเก็บไว้จนกว่าโหนดเหล่านั้นจะกลับมามีชีวิต หรือ รวมกัน

การมีเธรดมากกว่าคอร์จะต้องจ่าย เมื่อคุณมีสองเธรด พวกเขาสามารถบล็อกซึ่งกันและกัน (และจะแชร์ข้อมูลใดๆ ไหม) หากคุณมีโค้ดที่จะรันซึ่งจะไม่บล็อก คุณต้องการรันโค้ดนั้นในเธรดของตัวเอง เพื่อจะได้ไม่ต้องรอโค้ดที่บล็อคเพื่อปลดบล็อคและเสร็จสิ้น ฉันพบว่าเมื่อมีเธรดไม่กี่เธรด มันเริ่มทวีคูณอย่างบ้าคลั่ง ดังนั้นโปรแกรมหลายร้อยเธรดของฉัน แม้ว่าฉันจะมีเธรดถึง 100 เธรดในจุดเดียว แต่ก็ยังมีเธรดอื่น ๆ มากมายที่ทำให้คอร์ไม่ว่าง!