gcp sts 2

AWS S3 Data Transfer to GCS support Storage Transfer Service

목적Amazon S3, Azure Storage, On-premise 객체 스토리지에서 GCP GCS로 데이터 마이그레이션이나 지속적인 싱크가 필요할 때GCP에서는 Storage Transfer Service를 제공하고 있습니다.해당 서비스를 사용하여, S3에 있는 데이터를 GCS로 복사하는 방안에 대해서 기술합니다. 유의사항본 문서에서는 일회성으로 복사하는 것을 테스트 했습니다.다만 환경에 따라 S3에서 주기적인 일정으로 GCS측으로 복사하는 환경도 있을 수 있습니다. 고객의 환경에 맞도록 설정합니다.Bigquery로 바로 전송이 필요하다면, Bigquery Data Transfer Service가 있습니다. 기본적으로 Storage Transfer는 Public 망을 이용합니다.다만, AWS에서 지..

Cloud 2025.08.30

[GCP] STS(Storage Transfer Service) Agent 설치, 설정

목표 : GCP의 Storage Transfer Service(이하 STS로 표기)는 아래 여러 상황에서 데이터를 전송할 수 있습니다. Amazon S3, Azure Blob Storage 또는 Cloud Storage에서 Cloud Storage로 전송 온프레미스 스토리지에서 Cloud Storage로 또는 Cloud Storage에서 온프레미스로 온프레미스 스토리지 시스템 간 공개적으로 액세스 가능한 URL에서 Cloud Storage로 HDFS에서 Cloud Storage로 대부분 Agent가 필요 없지만, 온프레미스 스토리지에서 Cloud Storage로 또는 Cloud Storage에서 온프레미스로 할때는 인터페이스 역활이 되는 STS Agent가 필요합니다. 본 문서는 STS Agent 설치와..

Cloud/GCP 2025.03.14