달빛이 비추는 궁전에서

목적Amazon S3, Azure Storage, On-premise 객체 스토리지에서 GCP GCS로 데이터 마이그레이션이나 지속적인 싱크가 필요할 때GCP에서는 Storage Transfer Service를 제공하고 있습니다.해당 서비스를 사용하여, S3에 있는 데이터를 GCS로 복사하는 방안에 대해서 기술합니다. 유의사항본 문서에서는 일회성으로 복사하는 것을 테스트 했습니다.다만 환경에 따라 S3에서 주기적인 일정으로 GCS측으로 복사하는 환경도 있을 수 있습니다. 고객의 환경에 맞도록 설정합니다.Bigquery로 바로 전송이 필요하다면, Bigquery Data Transfer Service가 있습니다. 기본적으로 Storage Transfer는 Public 망을 이용합니다.다만, AWS에서 지..

목표 Cloud Storage는 GCP에서 오브젝트 스토리지 용도로 다양하게 활용되고 있습니다. 특성상 Dev, Stg, Prd 등 여러 환경에 걸쳐 여러 프로젝트에 분산되어 생성되며, Cloud Run과 같은 PaaS 서비스를 사용할 경우 자동으로 버킷이 생성되기도 합니다. 이처럼 다양한 위치에 버킷이 존재하다 보니, 전체 현황을 한눈에 파악할 수 있는 방법이 필요합니다. 이 문서에서는 webconsole의 GUI를 통해 스토리지 리스트를 조회하는 방법과, 쉘 스크립트를 이용해 각 버킷의 용량 및 메타 정보를 수집하는 방법을 소개합니다. 🧰 방법 1: GUI로 전체 버킷 리스트 확인GCP 콘솔 접속 → Cloud Asset Inventory 메뉴로 이동 조직 선택 후→ storage.Bucket 으로..