S3 Sync กับการจำลองแบบข้ามภูมิภาค

ฉันมีข้อมูล ~1.5PB ใน S3 us-west-1 ฉันต้องการคัดลอกสิ่งนี้ไปยังภูมิภาค us-east-2 ฉันควรใช้การจำลองข้ามภูมิภาคหรือ S3 Sync หรือไม่ และข้อดีข้อเสียของการใช้ทั้งสองตัวเลือกคืออะไร?

ฉันค้นคว้าเธรด AWS สองสามเธรดและพบว่าเธรดเหล่านั้นอธิบายแต่ละเธรดโดยละเอียดมาก (เช่น https://aws.amazon.com/premiumsupport/knowledge-center/s3-large-transfer-between-buckets/ และ https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-migrate-region/) โดยไม่อธิบายความแตกต่างระหว่างทั้งสอง

โปรดทราบว่านโยบายความปลอดภัยของเราไม่อนุญาต Snowball Edge

ใครสามารถช่วยฉันได้บ้าง?


amazon-web-services amazon-s3 replication
person awsuser2021    schedule 09.10.2020    source แหล่งที่มา

คำตอบ (2)


arrow_upward
1
arrow_downward

เมื่อคุณเพิ่มการจำลองไปยังบัคเก็ตของคุณ ออบเจ็กต์ที่มีอยู่ก่อนหน้านี้จะไม่ถูกคัดลอกไปยังบัคเก็ตอื่น การจำลองจะไม่อนุญาตให้คุณทำซ้ำหากออบเจ็กต์สร้างขึ้นด้วยการเข้ารหัสฝั่งเซิร์ฟเวอร์โดยใช้คีย์การเข้ารหัสที่ลูกค้าจัดเตรียม (SSE-C) สำหรับรายละเอียดเพิ่มเติม คุณควรอ่านสิ่งนี้

ดังนั้นในกรณีนี้ คุณสามารถใช้คำสั่ง AWS S3 Sync หรือคำสั่ง cp ของ AWCCLi ได้ (จะช้ากว่า) หรือใช้ Snowball Edge (ซึ่งคุณไม่สามารถทำได้ตามคำอธิบาย)

aws s3 cp --recursive s3://<bucket>>
aws s3 sync s3://<bucket> s3://<bucket>>

AWS Sync เหมาะสำหรับอ็อบเจ็กต์/บัคเก็ตขนาดเล็ก แต่อย่างที่คุณบอกว่าคุณมีข้อมูลหลายเพตะไบต์ ฉันจะเสนอโซลูชันให้คุณสองรายการ:

  1. การดำเนินการแบตช์ S3: คุณสามารถใช้การดำเนินการแบบแบตช์ของ Amazon S3 เพื่อคัดลอกออบเจ็กต์หลายรายการด้วยคำขอเดียว
  2. S3DistCp: การดำเนินการ S3DistCp บน Amazon EMR สามารถทำการคัดลอกแบบขนานได้ ของอ็อบเจ็กต์จำนวนมากทั่วทั้งบัคเก็ต Amazon S3 อ่านเพิ่มเติม

เมื่อคุณคัดลอกข้อมูลของคุณไปยังบัคเก็ต S3 อื่นแล้ว คุณสามารถเปิดใช้งานการจำลองซึ่งจะจำลองออบเจ็กต์ใหม่ทั้งหมด

หมายเหตุ: โซลูชันเหล่านี้อาจมีราคาแพง ดังนั้นโปรดอ่านเกี่ยวกับต้นทุนหากใช้การดำเนินการเหล่านี้

person KayD    schedule 09.10.2020
comment
ขอบคุณ KayD. นอกจากนี้ เราสามารถคัดลอกข้อมูลจำนวนมากโดยใช้คอนโซล S3 ได้หรือไม่ คุณรู้หรือไม่? ฉันขอขอบคุณความคิดของคุณ - person awsuser2021; 09.10.2020
comment
@ awsuser2021 Snowball Edge มีข้อ จำกัด ในพื้นที่เก็บข้อมูลที่ใช้งานได้ 83TB คุณสามารถถ่ายโอนข้อมูลจำนวนมากไปยัง AWS ได้สูงสุดถึง 100PB ต่อ Snowmobile คุณสามารถลองใช้ AWS Snowmobile สำหรับตัวเลือกอื่นๆ ได้ แต่ในกรณีของคุณ ทั้งสองตัวเลือกไม่เหมาะกับคุณ เนื่องจากข้อมูลของคุณอยู่ใน AWS แล้ว ใช่ การใช้ S3 Bucket จากคอนโซลทำให้คุณสามารถคัดลอกไปยังบัคเก็ตอื่นๆ ที่คล้ายกับ aws cp จาก awscli ได้ ฉันไม่แนะนำ การใช้ aws sync จะเป็นตัวเลือกที่ดีกว่าแทนการคัดลอก - person KayD; 09.10.2020

arrow_upward
0
arrow_downward

การจำลองจะคัดลอกออบเจ็กต์ PUT ใหม่ลงในที่เก็บข้อมูลปลายทาง

การซิงค์จะคัดลอกออบเจ็กต์ที่มีอยู่ไปยังที่เก็บข้อมูลปลายทาง

โดยทั่วไปคุณจะเปิดใช้งานการจำลองแล้วเรียกใช้การซิงค์หนึ่งครั้งเพื่อคัดลอกออบเจ็กต์ที่มีอยู่

person Greg    schedule 09.10.2020
comment
ฉันสงสัยว่าเราเขียนทับวัตถุหรือไม่ จากนั้นเราก็ทำการซิงค์ มันจะจับได้อย่างไรว่าเวอร์ชั่นไหนเป็นเวอร์ชั่นล่าสุด? ฉันรู้ว่ามันมีรหัสเวอร์ชัน แต่ S3 ฉลาดพอที่จะรู้ว่าเวอร์ชันใหม่เป็นเวอร์ชันที่ผ่านการจำลองแบบแทนที่จะซิงค์ - person Bao Thai; 20.11.2020
comment
ตรวจสอบเอกสารที่นี่ awscli.amazonaws.com/v2/documentation/api/ ล่าสุด/อ้างอิง/s3/ The default behavior is to ignore same-sized items unless the local version is newer than the S3 version. - person Greg; 20.11.2020