Postgresql. Backup to Amazon S3 through WAL-E on CentOS

В этой статье я расскажу про свой опыт разворачивания backup сервиса WAL-E для заливания бэкапов Postgresql баз на сервис Amazon S3.

Первым делом поведаю, что у меня было на входе:

1. ОС — Centos 6.2
2. DB — Postgresql 9.2
3. Желание хранить бэкапы базы данных на Amazon S3

Далее опишу пункты которые мною выполнялись(заведомо до этого я уже имел доступ к сервису Амазона):

1. Для начала надо установить WAL-E Disaster Recovery

Для установки этой утилиты необходимо предустановить следующее:

1.1. git

yum install git.x86_64

Инсталятор запросил еще что-то. Я особо не заморачивался и согласился с ним.

1.2 Устанавливаем Python-devel

#yum install python-devel.x86_64

Так же соглашаемся с deps

1.3 Устанавливаем lzop

#yum install lzop

1.4 Устанавливаем mbuffer

#rpm -ivh /tmp/mbuffer-20080910-1.el5.re.x86_64.rpm

(пакет думаю легко найти в инете)

На данном этапе может вылезти бяка, что не хватает libcrypto.so.6

Она есть тут

#yum install openssl098e.x86_64

После этого модно установить mbuffer

1.5 Устанавливаем daemontools

#rpm -ivh /tmp/daemontools-0.76-1.el6.art.x86_64.rpm

(пакет думаю легко найти в инете)

1.6 Устанавливаем libevent-devel

#yum install libevent-devel.x86_64

Внимательно проверьте или у Вас уже не установлена старая версия. Версии до 2.0 — в ТОПКУ

1.7 А теперь самое интересное. Устанавливаем WAL-E:

#git clone git://github.com/heroku/WAL-E.git
#cd WAL-E
#python setup.py build
#sudo python setup.py install

2. Далее настраиваем переменные для данных Амазона (дабы не светить их в командах)

# umask u=rwx,g=rx,o=
# mkdir -p /etc/wal-e.d/env
# echo "secret-key-content" > /etc/wal-e.d/env/AWS_SECRET_ACCESS_KEY
# echo "access-key" > /etc/wal-e.d/env/AWS_ACCESS_KEY_ID
# echo 's3://some-bucket/directory/or/whatever' > \
 /etc/wal-e.d/env/WALE_S3_PREFIX
# chown -R root:postgres /etc/wal-e.d

3. Пробуем делать бэкап всей базы

# envdir /etc/wal-e.d/env wal-e backup-push /путь/к/вашей/базе

Как делать бэкапы WAL-логов отлично рассказано у создателей WAL-E. Там же можно найти как прикрутить команду бэкапа для архивирования wal-логов.

Моя же задача была слегка помочь в остановке под определенную ОС. 🙂

Будут вопросы — задавайте.

Поделиться в соц. сетях

Опубликовать в Google Buzz
Опубликовать в Google Plus
Опубликовать в LiveJournal

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *