AWS S3 Data Transfer to GCS support Storage Transfer Service
목적
Amazon S3, Azure Storage, On-premise 객체 스토리지에서 GCP GCS로 데이터 마이그레이션이나 지속적인 싱크가 필요할 때
GCP에서는 Storage Transfer Service를 제공하고 있습니다.
해당 서비스를 사용하여, S3에 있는 데이터를 GCS로 복사하는 방안에 대해서 기술합니다.
유의사항
본 문서에서는 일회성으로 복사하는 것을 테스트 했습니다.
다만 환경에 따라 S3에서 주기적인 일정으로 GCS측으로 복사하는 환경도 있을 수 있습니다. 고객의 환경에 맞도록 설정합니다.
Bigquery로 바로 전송이 필요하다면, Bigquery Data Transfer Service가 있습니다.
이때 S3 이그레스 요금은 청구하지 않습니다. 대신Google Cloud에 GiB당 요금이 청구됩니다.
전송 중인 데이터들은 모두 TLS HTTPS 세션을 통해 데이터를 암호화하여 전송합니다.
(Cloud Interconnect를 사용할 경우 비공개 API 엔드포인트를 사용하여 보안필요)
1. AWS S3 설정
데이터가 있는 AWS S3에 읽기, 복사를 할 수 있도록 권한 작업이 필요합니다.
AWS에서 인증하는 옵션은 Access Key, AWS IAM Role ARN, Secret resource 가 있습니다.
본 문서에서는 “Access Key”를 발급하여 진행합니다.
2. Storage Transfer Service 설정
Console -> Storage Transfer Service 이동
아래와 같은 선택사항이 있으며 환경에 맞도록 설정합니다.
Source : Amazon S3
Destination : Google Cloud Storage
소스단인 S3 의 디렉토리를 지정해줍니다.
소스에 대한 액세스 구성: Amazon S3 | Cloud Storage Transfer Service Documentation | Google Cloud
의견 보내기 소스에 대한 액세스 구성: Amazon S3 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 다음 두 가지 방법 중 하나를 사용하여 Amazon S3 버킷에 대한 액
cloud.google.com
데이터 암호화 보장
https://cloud.google.com/storage-transfer/docs/on-prem-security?hl=ko#in-flight
파일 시스템 데이터 보호 | Cloud Storage Transfer Service Documentation | Google Cloud
이 페이지는 Cloud Translation API를 통해 번역되었습니다. 의견 보내기 파일 시스템 데이터 보호 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 전송하는 데이
cloud.google.com
AWS Egress 옵션내용
https://cloud.google.com/storage-transfer/docs/create-transfers/agentless/s3?hl=ko#egress_options
Amazon S3에서 Cloud Storage로 이전 | Cloud Storage Transfer Service Documentation | Google Cloud
이 페이지는 Cloud Translation API를 통해 번역되었습니다. 의견 보내기 Amazon S3에서 Cloud Storage로 이전 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 이 페이지
cloud.google.com