RDS+ECSで定期的にダンプをS3に保存してみる

1818 文字

9 分

2019-10-31

2026-10-03

概要#

AWS にて RDS の定期ダンプを取得したかったので ECS にある cron 的な機能を使ってダンプを定期取得する設定をしてみた
ECS で動かす定期実行用のコンテナのイメージやタスクも管理を自動化してみた
今回 postgres が対象です mysql 等は適宜 dockerfile を変更してください

前提条件#

AWS のアカウント取得済み
RDS 構築済み
bitbucket のアカウント取得済み

準備#

IAM ユーザーの作成#

今回 bitbucket pipeline からのデプロイとダンプデータ S3 へのアップロード用にユーザーを作成する。
通常はデプロイと S3 でユーザーを分けた方がいいのだが今回は管理コストの面で一つで作成します。

IAM を開き左メニューにあるユーザーを開くその後ユーザーの追加を開くと下記の様な画面になる
ユーザー名を適宜入力,アクセスの種類をプログラムによるアクセスに制限

console.aws.amazon.com_iam_home_.png

AmazonECS_FullAccess, AmazonEC2ContainerRegistryFullAccess, AmazonS3FullAccessを選択(今回 CLI で同一ユーザーを使いたかったので広に権限取ってあります。わかる人は適宜絞ってください。)

console.aws.amazon.com_iam_home_ (1).png

その後特に設定項目はないのでユーザーの作成まで進む
最後にこのような画面が表示されるのでアクセスキー ID とシークレットアクセスキーをメモしておいてください。シークレットアクセスキーに関しては追加発行できますが二度と再表示できないので絶対にメモしておいてください。

console.aws.amazon.com_iam_home_ (2).png

IAM ロールの作成#

タスクを実行するためのロールだが自動で作られるものではあるのだが ECS を全く使っていない場合は作成されていないので手動で作成する。
(ecsTaskExecutionRoleと最後に付くロールが既にある場合はその ARN をメモしておいてください)
IAM を開き左メニューにあるロールを開くその後ロールの作成を開くと下記の様な画面になる
Elastic Container Serviceを選択次にElastic Container Service Taskを選択次へ

console.aws.amazon.com_iam_home_region=ap-northeast-1 (1).png

AmazonECSTaskExecutionRolePolicyを選択その後特に設定項目はないのでロールの作成まで進む

console.aws.amazon.com_iam_home_region=ap-northeast-1 (2).png

作成が完了したら元の画面に戻ってくるので先ほど作成したロールを開く下記画面のロール ARNをメモしておいてください。

console.aws.amazon.com_iam_home_region=ap-northeast-1 (4).png

バケットの作成#

特別設定する項目はありません。適宜設定の上作成しておいてください。
その際作成した名前をメモしておいてください。

ECR リポジトリの作成#

こちらも特別設定する項目はありませんが、パイプラインでタグを上書きする関係上タグのイミュータビリティは無効化しておいてください(デフォルトで無効)
作成した後 URI のカラムにある URL みたいなものをメモしておいてください。

bitbucket でリポジトリの作成#

いつも通りリポジトリを作成してください。
ローカルで下記の通りファイルを作成してください。

1
~/
2
 ├ .pgpass
3
 ├ bitbucket-pipelines.yml
4
 ├ Dockerfile
5
 └ docker-entrypoint.sh

.pgpass は postgres にパスワードを省略してアクセスするためのパスワードファイルですダ下記の通り記述してください。

1
hostname:port:database:username:password

bitbucket-pipelines.yml は bitbucket のパイプラインの定義を記述するファイルです下記の通り記述してください。
execution-role-arn のところに先ほどメモしたロール ARNを記入してください。

1
# enable Docker for your repository
2
options:
3
  docker: true
4

5
pipelines:
6
  default:
7
    - step:
8
        name: build-push
9
        image: atlassian/pipelines-awscli:latest
10
        deployment: test
11
        caches:
12
          - docker
13
        script:
14
          # aws login
15
          - aws ecr get-login-password --region ${AWS_DEFAULT_REGION} | docker login --username AWS --password-stdin ${AWS_REGISTRY_URL%%/*}
16
          # docker
17
          - export BUILD_ID=$BITBUCKET_BRANCH_$BITBUCKET_COMMIT_$BITBUCKET_BUILD_NUMBER
18
          - docker build -t ${AWS_REGISTRY_URL}:$BUILD_ID -t ${AWS_REGISTRY_URL}:development .
19
          - docker push ${AWS_REGISTRY_URL}
20

21
    - step:
22
        name: deploy
23
        image: atlassian/pipelines-awscli:latest
24
        deployment: production
25
        script:
9 collapsed lines
26
          - export BUILD_ID=$BITBUCKET_BRANCH_$BITBUCKET_COMMIT_$BITBUCKET_BUILD_NUMBER
27
          - export IMAGE_NAME="${AWS_REGISTRY_URL}:$BUILD_ID"
28
          # ECS variables
29
          - export ECS_CLUSTER_NAME="${BITBUCKET_REPO_OWNER}"
30
          - export ECS_SERVICE_NAME="${BITBUCKET_REPO_SLUG}"
31
          - export ECS_TASK_NAME="${BITBUCKET_REPO_SLUG}"
32
          # Create ECS cluster, task, service
33
          - aws ecs list-clusters | grep "${ECS_CLUSTER_NAME}" || aws ecs create-cluster --cluster-name "${ECS_CLUSTER_NAME}"
34
          # Updating the existing cluster, task, service
35
          - export TASK_VERSION=$(aws ecs register-task-definition
36
            --family "${ECS_TASK_NAME}"
37
            --execution-role-arn ""
7 collapsed lines
38
            --network-mode "awsvpc"
39
            --requires-compatibilities "FARGATE"
40
            --cpu "256"
41
            --memory "512"
42
            --container-definitions "[{\"name\":\"${ECS_TASK_NAME}\",\"image\":\"${IMAGE_NAME}\",\"logConfiguration\":{\"logDriver\":\"awslogs\",\"options\":{\"awslogs-group\":\"/ecs\",\"awslogs-region\":\"${AWS_DEFAULT_REGION}\",\"awslogs-stream-prefix\":\"${ECS_TASK_NAME}\"}}}]"
43
            | jq --raw-output '.taskDefinition.revision')
44
          - echo "Registered ECS Task Definition:" "${TASK_VERSION}"

NOTE
2026年10月追記ログインに使っていたaws ecr get-loginはAWS CLI v2で削除されたので、aws ecr get-login-passwordをdocker loginに渡す形に書き換えました(v1でも1.17.10以降なら動きます)。AWS CLI v2の変更点
またatlassian/pipelines-awscliイメージは非推奨になっていて、amazon/aws-cliへの移行が案内されています。Docker Hub

Dockerfile は ECS でデプロイする用のコンテナ定義です下記の通り記述してください。
補足がある箇所は先ほどメモしたものから適宜いれてください。

1
FROM alpine
2

3
RUN apk --no-cache add postgresql-client aws-cli
4
ENV AWS_DEFAULT_REGION ap-northeast-1
5
ENV AWS_ACCESS_KEY_ID {アクセスキーID}
6
ENV AWS_SECRET_ACCESS_KEY {シークレットアクセスキー}
7
RUN mkdir dump
8
WORKDIR /root/dump
9
ADD .pgpass /root/.pgpass
10
RUN chmod 0600 /root/.pgpass
11
ADD docker-entrypoint.sh /root/docker-entrypoint.sh
12
RUN chmod +x /root/docker-entrypoint.sh
13

14
CMD ["/root/docker-entrypoint.sh"]

NOTE
2026年10月追記最近のAlpineではpip3 installでシステムのPythonにパッケージを入れられない(externally-managed-environment で止まる)ので、AWS CLIはAlpineのパッケージ(aws-cli)から入れる形に直しました。

docker-entrypoint.sh は docker 起動時に実行するコマンド群ですいわゆる cron の中身です。
補足がある箇所は先ほどメモしたものから適宜いれてください。
保存構成的には最初のプレフィックスが削除周期次に DB 名最後にファイルの接頭辞が今回はダンプの周期を入れています。

1
#!/bin/sh
2

3
mkdir -p yearly/{DB名}
4
pg_dump -Fc -h {DBのホスト} -U {ユーザー} {DB名} > yearly/{DB名}/weekly-`date "+%Y%m%d_%H%M%S"`.custom
5
aws s3 sync . s3://{S3のバケット}

準備が完了したらいつもの通り先ほど作成したリポジトリにプッシュしてください。

bitbucket での pipeline の準備#

先ほどプッシュしたリポジトリを bitbucket で開く
設定->PIPELINES->Settings に進みEnable Pipelinesを有効にする

bitbucket.org_j-roi_dump_admin_addon_admin_pipelines_settings.png

次にRepository variablesを開く
下記の通り先ほどメモしたものから設定をする。

bitbucket.org_j-roi_dump_admin_addon_admin_pipelines_repository-variables.png

デプロイと cron の設定#

デプロイの実行#

引き続き bitbucket の画面で再度メニューからPipelinesを開く次にRun pipelineをクリックし下記の通り選択してRunをクリック

bitbucket.org_j-roi_dump_addon_pipelines_home.png

完了すると下記の様になるのでパイプラインが完了するのを待つ

bitbucket.org_j-roi_dump_addon_pipelines_home (1).png

次回以降ブランチに変更が入る度自動で実行されます。

AWS でスケジュールの作成#

AWS ECS 上でリポジトリオーナー名でクラスタが作成されているのでそのクラスタを開く(クラスタ名が書かれているところをクリックすると開きます)。

ap-northeast-1.console.aws.amazon.com_ecs_home_region=ap-northeast-1.png

タスクのスケジューリングのタブを開き作成をクリック

NOTE
2026年10月追記現在のECSコンソールでは画面が変わっています。定期実行はAmazon EventBridge Schedulerでスケジュールを作り、ターゲットにECSのRunTaskを選ぶ形が案内されています。cron式もEventBridge Schedulerのものを使います。Using Amazon EventBridge Scheduler to schedule Amazon ECS tasks

ap-northeast-1.console.aws.amazon.com_ecs_home_region=ap-northeast-1 (1).png

実行間隔等を設定しターゲットの部分は今回FARGATE用にタスクを作成したので起動タイプをFARGATEを選択タスク定義のファミリーはリポジトリ名と同名のタスクがあるのでそれを選択する。VPC とセキュリティグループは適宜設定してください。

ap-northeast-1.console.aws.amazon.com_ecs_home_region=ap-northeast-1 (2).png

NOTE
Cron 式を選択したときに躓いたのだが busybox cron 等の cron 式とは違う模様下記を参考にいたしました。
AWS_Cron 式のワイルドカード

RDS+ECSで定期的にダンプをS3に保存してみる

https://b.doany.io/posts/rdsecsdump/

作者

丸山竜輝

公開日

2019-10-31

ライセンス

CC BY-NC-SA 4.0

Ko-fi で支援する

アウディコーディングメモ

GUIを入れたubuntuでネットワークが繋がらない