AWS S3 Data Transfer to GCS support Storage Transfer Service

목적
Amazon S3, Azure Storage, On-premise  객체 스토리지에서 GCP GCS로 데이터 마이그레이션이나 지속적인 싱크가 필요할 때
GCP에서는 Storage Transfer Service를 제공하고 있습니다.
해당 서비스를 사용하여, S3에 있는 데이터를 GCS로 복사하는 방안에 대해서 기술합니다.

 

유의사항
본 문서에서는 일회성으로 복사하는 것을 테스트 했습니다.
다만 환경에 따라 S3에서 주기적인 일정으로 GCS측으로 복사하는 환경도 있을 수 있습니다. 고객의 환경에 맞도록 설정합니다.
Bigquery로 바로 전송이 필요하다면, Bigquery Data Transfer Service가 있습니다.

 

구성도

기본적으로 Storage Transfer는 Public 망을 이용합니다.

다만, AWS에서 지원하는 관리형 비공개 네트워크 지원하는 리전이라면 Google 관리 네트워크를 통해 데이터를 전송할 수 있습니다.
이때 S3 이그레스 요금은 청구하지 않습니다. 대신Google Cloud에 GiB당 요금이 청구됩니다.

전송 중인 데이터들은 모두 TLS HTTPS 세션을 통해 데이터를 암호화하여 전송합니다. 
(Cloud Interconnect를 사용할 경우 비공개 API 엔드포인트를 사용하여 보안필요)

VPN, Interconnect를 이용할 경우에는 에이전트 폴을 이용하여 진행 되어야 합니다. 즉 S3 -> VPN -> VM -> GCS 입니다. 

 

1. AWS S3 설정

데이터가 있는 AWS S3에 읽기, 복사를 할 수 있도록 권한 작업이 필요합니다.

 

AWS Console 에서 다음과 같이 진입합니다.

IAM > Users > User생성 후 Access key 발급

IAM 권한은 복사만 한다는 가정하에 ”S3ReadOnlyAccess” 권한이 필요하며, 삭제가 필요할 경우에는 “S3FullAccess”권한을 부여합니다.

AWS에서 인증하는 옵션은 Access Key, AWS IAM Role ARN, Secret resource 가 있습니다.
본 문서에서는 “Access Key”를 발급하여 진행합니다.

2. Storage Transfer Service 설정
Console -> Storage Transfer Service 이동

아래와 같은 선택사항이 있으며 환경에 맞도록 설정합니다.
Source : Amazon S3
Destination : Google Cloud Storage

Scheduling mode

Batch : 데이터를 일회성이나 일정적으로 전송할 때

Event-driven : 소스 데이터에서 추가, 변경될 때 즉 이벤트가 발생될 때 마다 데이터를 처리하는 모드

전송할 데이터에 대해 옵션이 2개가 있습니다.

 

소스단인 S3 의 디렉토리를 지정해줍니다.

Filter by prefix : 복사할 경로가 지정되어 있을 경우 설정합니다.

Docs : https://cloud.google.com/storage-transfer/docs/filtering-objects-from-transfers?hl=ko

Filter by last modified time :

S3에 저장된 파일이 조건에 따라 수정될 경우 복사를 진행합니다.

 

 

Destination 설정 : 목적지 GCS에 대해 설정합니다.

폴더 단위까지 설정이 가능합니다.

 

 

작업 실행에 대한 설정

한번 실행, 매일, 매주, 사용자 설정에 맞게 실행 할 수 있습니다.

그리고 요청(트리거)시에 실행하는 부분도 있습니다.

 

마지막으로 작업에 대한 설정입니다.

Identify your job : 작업 이름을 자동으로 생성합니다.

Storage class : Nearline, Coldline등 스토리지 클래스를 변경하거나, 대상 버킷 클래스를 그대로 사용할지 설정

Time created : 각 객체의 생성시간을 보존할지, 복사한 시간으로 덮어쓰기 될지 선택합니다.

그 외 덮어쓰기에 대한 설정과 전송 후 기존 S3 객체 삭제에 대해 설정이 가능합니다.

 

참고 Docs

소스에 대한 액세스 구성: Amazon S3

https://cloud.google.com/storage-transfer/docs/source-amazon-s3?hl=ko

소스에 대한 액세스 구성: Amazon S3  |  Cloud Storage Transfer Service Documentation  |  Google Cloud

 

Amazon S3에서 Cloud Storage로 이전

https://cloud.google.com/storage-transfer/docs/create-transfers/agentless/s3?hl=ko

 

데이터 암호화 보장
https://cloud.google.com/storage-transfer/docs/on-prem-security?hl=ko#in-flight

파일 시스템 데이터 보호  |  Cloud Storage Transfer Service Documentation  |  Google Cloud

 

AWS Egress 옵션내용
https://cloud.google.com/storage-transfer/docs/create-transfers/agentless/s3?hl=ko#egress_options

Amazon S3에서 Cloud Storage로 이전  |  Cloud Storage Transfer Service Documentation  |  Google Cloud