Sinkronisasi S3 vs. Replikasi Lintas Wilayah

Saya memiliki ~1,5PB data di S3 us-west-1. Saya ingin menyalin ini ke wilayah us-east-2. Haruskah saya menggunakan replikasi lintas wilayah atau S3 Sync? Dan, apa untung dan ruginya menggunakan kedua opsi tersebut?

Saya meneliti beberapa thread AWS dan menemukan bahwa thread tersebut menjelaskan masing-masing thread dengan sangat rinci (Misalnya https://aws.amazon.com/premiumsupport/knowledge-center/s3-large-transfer-between-buckets/ dan https://aws.amazon.com/premiumsupport/knowledge-center/s3-bucket-migrate-region/), tanpa menjelaskan perbedaan keduanya.

Harap perhatikan bahwa kebijakan keamanan kami tidak mengizinkan Snowball Edge.

Dapatkah seseorang tolong bantu saya?


amazon-web-services amazon-s3 replication
person awsuser2021    schedule 09.10.2020    source sumber

Jawaban (2)


arrow_upward
1
arrow_downward

Saat Anda menambahkan replikasi ke keranjang Anda maka Objek yang ada sebelumnya tidak akan disalin ke keranjang lainnya. Replikasi juga tidak akan membiarkan Anda mereplikasi jika Objek dibuat dengan enkripsi sisi server menggunakan kunci enkripsi yang disediakan pelanggan (SSE-C). untuk detail lebih lanjut Anda harus membaca ini.

Jadi dalam hal ini, Anda dapat menggunakan perintah cp AWS S3 Sync atau AWCCLi (akan lebih lambat) atau menggunakan Snowball Edge (Yang tidak dapat Anda lakukan sesuai deskripsi)

aws s3 cp --recursive s3://<bucket>>
aws s3 sync s3://<bucket> s3://<bucket>>

AWS Sync bagus untuk objek/ember berukuran kecil tetapi seperti yang Anda sebutkan, Anda memiliki data peta byte maka saya akan memberi Anda dua solusi:

  1. Operasi batch S3: Anda dapat menggunakan operasi batch Amazon S3 untuk menyalin beberapa objek dengan satu permintaan.
  2. S3DistCp: Operasi S3DistCp di Amazon EMR dapat melakukan penyalinan paralel objek dalam jumlah besar di seluruh bucket Amazon S3. Baca Selengkapnya

Setelah Anda menyalin data ke bucket S3 lain, Anda dapat mengaktifkan replikasi yang akan mereplikasi semua objek baru.

Catatan: Solusi ini mungkin mahal, jadi pastikan Anda membaca tentang biayanya jika menggunakan operasi ini.

person KayD    schedule 09.10.2020
comment
Terima kasih KayD. Selain itu, bisakah kita menyalin begitu banyak data menggunakan konsol S3? Tahukah kamu? Saya menghargai pemikiran Anda. - person awsuser2021; 09.10.2020
comment
@awsuser2021 Snowball Edge memiliki batasan pada Penyimpanan yang Dapat Digunakan sebesar 83TB. Anda dapat mentransfer data dalam jumlah sangat besar ke AWS hingga 100 PB per Snowmobile. Anda dapat mempertimbangkan untuk menggunakan AWS Snowmobile untuk opsi lain, namun dalam kasus Anda, kedua opsi tersebut tidak cocok untuk Anda karena data Anda sudah ada di AWS. Ya, menggunakan S3 Bucket dari konsol Anda dapat menyalin ke bucket lain yang mirip dengan aws cp dari awscli, saya tidak menyarankan. Menggunakan aws sync akan menjadi pilihan yang lebih baik daripada menyalin. - person KayD; 09.10.2020

arrow_upward
0
arrow_downward

Replikasi akan menyalin objek PUT baru ke dalam keranjang tujuan.

Sinkronisasi akan menyalin objek yang ada ke keranjang tujuan.

Umumnya Anda akan mengaktifkan replikasi dan kemudian menjalankan sinkronisasi sekali untuk menyalin objek yang ada.

person Greg    schedule 09.10.2020
comment
Saya ingin tahu apakah kita menimpa objek. Dan kemudian kami menjalankan sinkronisasi. Bagaimana cara mengetahui versi mana yang terbaru? Saya tahu ini memiliki id versi, tetapi S3 cukup pintar untuk mengetahui bahwa versi baru adalah versi yang melalui replikasi, bukan sinkronisasi? - person Bao Thai; 20.11.2020
comment
Periksa dokumentasinya di sini. awscli.amazonaws.com/v2/documentation/api/ terbaru/referensi/s3/ The default behavior is to ignore same-sized items unless the local version is newer than the S3 version. - person Greg; 20.11.2020