[サーバ構築編] GCPでVMインスタンスを自律的に構築する仕組み

jobs:
  build:
    #省略
     steps:
       #省略
       - name: set base image configurations to GITHUB_ENV
-        run: . ./script/set_env.sh base
+        run: . ./script/set_env.sh mysql
         working-directory: packer
 
       - name: Packer build image
-        run: packer build base.pkr.hcl
+        run: packer build mysql80.pkr.hcl
         working-directory: packer/source

#!/bin/bash

# source iamge名: base.pkr.hclで継続的にビルドされている共通ベースイメージの保存時のイメージ名がセットされる
# base.pkr.hclでは"ubuntu-2004-focal-v20220308"がセットされていた箇所
echo PKR_VAR_source_image=custom-ubuntu2004-base-vYYYYMMDD-01 >> $GITHUB_ENV
# カスタムイメージ名: MySQLのベースイメージ名として保存する名前をセット
echo PKR_VAR_image_name=custom-ubuntu2004-mysql-vYYYYMMDD-01 >> $GITHUB_ENV
# family名: MySQLのベースイメージのFamily名をセット
echo PKR_VAR_image_family=custom-ubuntu2004-mysql >> $GITHUB_ENV

# packer/source/mysql.pkr.hcl
locals {} # 共通ベースイメージのビルドと同じなので省略

source "googlecompute" "mysql" {
  # 共通ベースイメージのビルドと同じなので省略
  # ここの定義により共通ベースイメージをsource_imageとしてVMが起動する
} 

build {
  sources = ["source.googlecompute.mysql"] # 共通ベースイメージで起動した上記computeインスタンスを対象に指定する

  provisioner "ansible" {
    groups        = ["mysql_base"]
    playbook_file = "../../ansible/mysql.yml" # mysql baseイメージを実行するplaybookを呼び出す
    inventory_directory = "../../ansible/inventory"
    user          = "sre"
  }
}

module "gce" {
  # yamlに記述されたサーバ情報をもとにインスタンス定義を展開
  for_each = { for v in local.configs.mysqls : v.name => v }
  source   = "../../../modules/compute/gce"

  name             = each.value.name
  machine_type     = each.value.machine_type
  #省略 project, network, tag等

  # 上記のdataリソースの定義によって、each.value.imageがcustom-ubuntu2004-mysqlと定義されていれば
  # 該当familyのイメージのself_linkが取得される(後述)
  image            = data.google_compute_image.main[each.value.image].self_link

  # この仕組みのキーポイント
  metadata = merge(
    local.default_metadata, # 共通のmetadata定義(内容は省略)
    each.value.metadata, # サーバ固有で指定されたmetadata(内容は省略)
    # cloud-initを上書きするuser-data.yamlを生成する(後述)
    {
      user-data = templatefile("../../../templates/mysql/user-data.yaml.tpl",
        {
          mysql_is_restored       = each.value.mysql.is_restored,
          mysql_is_innodb_cluster = each.value.mysql.is_innodb_cluster
        },
      ),
    },
    # Ansible実行時の各種パラメータを注入するためのyamlファイルを生成する(後述)
    {
      ansible_variables = templatefile("templates/mysql/ansible_variables.yaml.tpl",
        {
          mysql_env                             = each.value.mysql.env,
          mysql_repl                            = each.value.mysql.repl,
          mysql_sync_binlog                     = each.value.mysql.sync_binlog,
          mysql_innodb_flush_log_at_trx_commit  = each.value.mysql.innodb_flush_log_at_trx_commit,
          mysql_semi_sync                       = lookup(each.value.mysql, "semi_sync", null),
          mysql_innodb_buffer_pool_size_percent = each.value.mysql.innodb_buffer_pool_size_percent,
          mysql_innodb_buffer_pool_size         = lookup(each.value.mysql, "innodb_buffer_pool_size", null),
          mysql_innodb_buffer_pool_instances    = each.value.mysql.innodb_buffer_pool_instances,
          #省略
        }
      )
    },
  )

  # ディスク定義等
  attached_disks  = each.value.attached_disks
  boot_disk_size  = lookup(each.value, "boot_disk_size", null)
  
  deletion_protection       = lookup(each.value, "deletion_protection", true)
  allow_stopping_for_update = lookup(each.value, "allow_stopping_for_update", false)
}

# configs/dev/mysqls.yaml
- name: dev-mysql-xxxx
  machine_type: n2-standard-8
  image: custom-ubuntu2004-mysql
  #省略
- name: dev-mysql-yyyy
  machine_type: n2-standard-8
  ...

locals {
  configs = {
    mysqls = yamldecode(file("../../../configs/dev/mysqls.yaml"))
  }
}

locals = {
  images = [
    "costom-ubuntu2004-mysql",
  ]
}

# 該当するイメージfamily名の最新イメージがデータリソースとして定義される
data "google_compute_image" "main" {
  for_each = toset(local.images)

  family  = each.value
  project = "xxxx" # カスタムイメージを共有しているプロジェクト名を指定
}

  metadata = {
    user-data = templatefile("../../../templates/mysql/user-data.yaml.tpl",
      {
        mysql_is_restored       = each.value.mysql.is_restored,
        mysql_is_innodb_cluster = each.value.mysql.is_innodb_cluster
      },
    )
  }

# templates/dev/user-data.yaml.tpl

#cloud-config
timezone: Asia/Tokyo
locale: C.UTF-8

package_update: false
package_upgrade: false

# 実行時に実行される(contentの内容が指定のpathに書き込まれる)
write_files:
  - path: /var/lib/toolbox/scripts/get_metadata.sh
    permissions: "0770"
    owner: "sre:sre"
    content: |
      #!/bin/bash
      attr="http://metadata.google.internal/computeMetadata/v1/instance/attributes"
      curl -s -f -H "Metadata-Flavor: Google" $attr/$1      
  
# 以下に記載のコマンドが逐次実行される
runcmd:
  # 自作の運用ツール・スクリプトをdeb package化したものをインストール
  # 以下で呼び出されている/var/lib/toolbox/scripts/xxxの最新のものが都度installされる
  - apt install -y our-mysql-utils
  # IaCリポジトリをshallow cloneするスクリプトを実行する
  - /bin/bash /var/lib/toolbox/scripts/clone_from_git.sh our_iac_repo
  # metadataからTerraformによりmetadataとして注入されたansible_variablesを取得する
  - /var/lib/toolbox/scripts/get_metadata.sh ansible_variables > /var/lib/toolbox/ansible_variables.yaml
  # ansible_variablesのusers.xxx.passwordに記載されている置換文字列に該当するパスワードを
  # GCP Secret Managerから取得して置換するpython scriptを実行する
  - python /var/lib/toolbox/scripts/get_mysql_password.py
  # 以下はtemplatefile関数を通じてレンダリングされた状態でmetadataにセットされる
  # リストアフラグの場合はリストア用のansible playbookを実行する
  %{~ if mysql_is_restored ~}
  - ansible-playbook /var/lib/toolbox/our_iac_repo/ansible/mysql_restore_setup.yml --extra-vars="@/var/lib/toolbox/ansible_variables.yaml"
  # 通常(新規構築時)は初期セットアップを行うansible playbookを実行する
  %{~ else ~}
  - ansible-playbook /var/lib/toolbox/our_iac_repo/ansible/mysql_initial_setup.yml --extra-vars="@/var/lib/toolbox/ansible_variables.yaml"
  %{~ endif }

curl -H "Metadata-Flavor: Google" \
  "http://metadata.google.internal/computeMetadata/v1/instance/attributes/ansible_variables" > /var/lib/toolbox/ansible_variables.yaml

# templates/mysql/ansible_variables.yaml.tpl
mysql:
  env: ${ mysql_env }
  repl: ${ mysql_repl }
  sync_binlog: ${ mysql_sync_binlog }
  innodb_flush_log_at_trx_commit: ${ mysql_innodb_flush_log_at_trx_commit }
  %{~ if mysql_semi_sync != null ~}
  semi_sync: ${ mysql_semi_sync }
  %{~ endif ~}
  innodb_buffer_pool_size_percent: ${ mysql_innodb_buffer_pool_size_percent }
  %{ if mysql_innodb_buffer_pool_size != null }
  innodb_buffer_pool_size: ${ mysql_innodb_buffer_pool_size }
  %{ endif }
  innodb_buffer_pool_instances: ${ mysql_innodb_buffer_pool_instances }
  #省略
  # rootや一般ユーザをansible.mysql_userプラグインによって設定するための定義
  # __MYSQL_XXX__ という部分はget_mysql_password.pyという運用ツールにより置換するための指示子(後述)
  root_users:
    - host: "localhost"
      user: "root"
      priv: 
        "*.*": "ALL,GRANT"
      encrypted: no
      password: __MYSQL_ROOT_PASSWORD__
  users:
    # 運用系のものを例示でピックアップして表示
    # アプリケーション接続等のGRANT定義もここに含まれますが割愛しています
    - host: "%"
      user: "slave"
      priv: 
        "*.*": "REPLICATION SLAVE"
      encrypted: no
      password: __MYSQL_SLAVE_PASSWORD__
    - host: "127.0.0.1"
      user: "monitoring"
      priv: 
        "*.*": "PROCESS,REPLICATION CLIENT,SELECT"
      encrypted: no
      password: __MYSQL_MONITORING_PASSWORD__
    - host: "localhost"
      user: "backup"
      priv: 
        "*.*": "SUPER,REPLICATION CLIENT,SELECT"
      encrypted: no
      password: __MYSQL_BACKUP_PASSWORD__
    - host: "%"
      user: "sre_ro"
      priv: 
        "*.*": "SELECT,PROCESS,REPLICATION CLIENT,SHOW DATABASES,SHOW VIEW"
      encrypted: no
      password: __MYSQL_SRE_RO_PASSWORD__

ansible-playbook \
  /var/lib/toolbox/our_iac_repo/ansible/mysql80_idbc_initial_setup.yml \
   --extra-vars="@/var/lib/toolbox/ansible_variables.yaml"

# templates/mysql/user-data.yaml.tpl
  %{~ if mysql_is_restored ~}
  - ansible-playbook /var/lib/toolbox/our_iac_repo/ansible/mysql_restore_setup.yml --extra-vars="@/var/lib/toolbox/ansible_variables.yaml"
  %{~ else ~}
  - ansible-playbook /var/lib/toolbox/our_iac_repo/ansible/mysql_initial_setup.yml --extra-vars="@/var/lib/toolbox/ansible_variables.yaml"
  %{~ endif }

# ansible/roles/mysql_initial_setup/files/my.cnf.j2
[client]
port=3306
socket=/var/run/mysqld/mysqld.sock

[mysqld]
server-id={{ mysql_server_id }}
user=mysql
port=3306
socket=/var/run/mysqld/mysqld.sock
datadir=/var/lib/mysql
#省略
# mysql.replの値によってレンダリングを分岐させる記述
{% if mysql.repl == "master" %}
log-bin=/var/lib/mysql/mysql-bin
sync_binlog={{ mysql.sync_binlog }}
#省略
{% elif mysql.repl in ["relay", "slave", "dr"] %}
log-bin=/var/lib/mysql/mysql-bin
sync_binlog={{ mysql.sync_binlog }}
log-slave-updates
read_only
#省略
{% elif mysql.repl in ["backup", "xxx"] %}
read_only
slave_net_timeout=60
#省略
{% endif %}

#省略