Backup - Revision history

Hans at 18:20, 10 February 2019

2019-02-10T18:20:03Z

← Older revision		Revision as of 20:20, 10 February 2019
Line 14:		Line 14:
	Elke dag wordt met rsync een volledige back-up naar de nas getrokken '''zonder snapshots'''		Elke dag wordt met rsync een volledige back-up naar de nas getrokken '''zonder snapshots'''
	== script ==		== script ==
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/bash		#!/bin/bash
	LOGFILE="/var/log/backup2nas.log"		LOGFILE="/var/log/backup2nas.log"
Line 76:		Line 76:
	De backups op de nas zijn volledig encrypted, encryptie sleutels zijn bekend bij Bas en Hans		De backups op de nas zijn volledig encrypted, encryptie sleutels zijn bekend bij Bas en Hans
	== script ==		== script ==
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/bash		#!/bin/bash
	LOGFILE="/var/log/backup2bas.log"		LOGFILE="/var/log/backup2bas.log"
Line 141:		Line 141:
	Backup2bit roept de scripts op de individuele servers aan /usr/local/hobbynet/bin/backup_'''servernaam'''. <br>		Backup2bit roept de scripts op de individuele servers aan /usr/local/hobbynet/bin/backup_'''servernaam'''. <br>
	Dit script voert eerst database onderhoud uit wat ongebruikte ruimte terug claimed, daarna wordt de back-up gemaakt.		Dit script voert eerst database onderhoud uit wat ongebruikte ruimte terug claimed, daarna wordt de back-up gemaakt.
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/sh		#!/bin/sh
	SERVER="db01-int"		SERVER="db01-int"
Line 199:		Line 199:
	</pre>		</pre>
	== script database-onderhoud ==		== script database-onderhoud ==
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/bash		#!/bin/bash
	HNET_BIN=/usr/local/hobbynet/bin		HNET_BIN=/usr/local/hobbynet/bin
Line 230:		Line 230:
	</pre>		</pre>
	== script /usr/local/hobbynet/bin/backup_mysql ==		== script /usr/local/hobbynet/bin/backup_mysql ==
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#! /bin/bash		#! /bin/bash

Line 356:		Line 356:
	* mail-lb2-int		* mail-lb2-int
	== script /usr/local/hobbynet/bin/backup_server_configs==		== script /usr/local/hobbynet/bin/backup_server_configs==
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/sh		#!/bin/sh
	LOGFILE="/var/log/backup_all.log"		LOGFILE="/var/log/backup_all.log"
Line 487:		Line 487:
	Elke 6 uur synchroniseren we bestanden en databases naar ns3		Elke 6 uur synchroniseren we bestanden en databases naar ns3
	== script /usr/local/hobbynet/bin/sync_ns3 op backup2bit ==		== script /usr/local/hobbynet/bin/sync_ns3 op backup2bit ==
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/bash		#!/bin/bash
	echo "=== `date` ==="		echo "=== `date` ==="
Line 547:		Line 547:
	== script /usr/local/hobbynet/local/dump-ns3 op db01 ==		== script /usr/local/hobbynet/local/dump-ns3 op db01 ==
	dit script dumpt de database voor www.hobby.nl		dit script dumpt de database voor www.hobby.nl
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/bash		#!/bin/bash
	HNET=/usr/local/hobbynet		HNET=/usr/local/hobbynet
Line 594:		Line 594:
	== script /usr/local/hobbynet/local/dump-ns3 op db03 ==		== script /usr/local/hobbynet/local/dump-ns3 op db03 ==
	dit script dumpt de databases voor www.hcc.nl.		dit script dumpt de databases voor www.hcc.nl.
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/bash		#!/bin/bash
	SERVER=db03		SERVER=db03
Line 678:		Line 678:
	=== script /usr/local/hobbynet/lib/dropdb.sql op ns3 ===		=== script /usr/local/hobbynet/lib/dropdb.sql op ns3 ===
	dit sql script wordt door /usr/local/hobbynet/bin/restore_dbs aangeroepen om de databases op te ruimen		dit sql script wordt door /usr/local/hobbynet/bin/restore_dbs aangeroepen om de databases op te ruimen
	<pre>		<pre class="mw-collapsible mw-collapsed">
	DROP DATABASE IF EXISTS `www-hccnl-prod`;		DROP DATABASE IF EXISTS `www-hccnl-prod`;
	DROP DATABASE IF EXISTS `www-hccnl-prod-test`;		DROP DATABASE IF EXISTS `www-hccnl-prod-test`;
Line 686:		Line 686:
	=== script /usr/local/hobbynet/lib/disableplugins.sql op ns3 ===		=== script /usr/local/hobbynet/lib/disableplugins.sql op ns3 ===
	Dit sql script zorgt dat login en cache plugin wordt uitgeschakeld, en plaatst een waarschuwing op de site		Dit sql script zorgt dat login en cache plugin wordt uitgeschakeld, en plaatst een waarschuwing op de site
	<pre>		<pre class="mw-collapsible mw-collapsed">
	-- hobbynet site		-- hobbynet site
	use www-hobby-nl;		use www-hobby-nl;
Line 723:		Line 723:
	== script /usr/local/hobbynet/bin/updateapache2conf op ns3 ==		== script /usr/local/hobbynet/bin/updateapache2conf op ns3 ==
	Dit script update apache config op ns3		Dit script update apache config op ns3
	<pre>		<pre class="mw-collapsible mw-collapsed">
	echo "== start /usr/local/hobbynet/bin/updateapache2conf =="		echo "== start /usr/local/hobbynet/bin/updateapache2conf =="
	if [ -f /usr/local/hobbynet/tmp/www.hobby.nl.conf ]; then		if [ -f /usr/local/hobbynet/tmp/www.hobby.nl.conf ]; then
Line 764:		Line 764:
	Elke dag wordt /usr/local/hobbynet/bin gebackupd naar /disk/backup/hobbynet/ zodat deze in de externe backup mee gaat		Elke dag wordt /usr/local/hobbynet/bin gebackupd naar /disk/backup/hobbynet/ zodat deze in de externe backup mee gaat
	== script /usr/local/hobbynet/bin/backup_usrlocalhobbynet op backup2bit ==		== script /usr/local/hobbynet/bin/backup_usrlocalhobbynet op backup2bit ==
	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/bash		#!/bin/bash

Line 816:		Line 816:
	Beide nassen zijn encrypted aan de NAS zijde		Beide nassen zijn encrypted aan de NAS zijde
	=== script c:\scripts\backupssql.cmd ===		=== script c:\scripts\backupssql.cmd ===
	<pre>		<pre class="mw-collapsible mw-collapsed">
	@echo off		@echo off
	SET LocalFolder=c:\sql backups		SET LocalFolder=c:\sql backups
Line 880:		Line 880:
	Deze backup is encrypted aan de NAS zijde		Deze backup is encrypted aan de NAS zijde
	==== schedule ====		==== schedule ====
	Elke ~~Donderdag~~ wordt er volledige backup gemaakt en alle overige dagen wordt een incremental backup gemaakt met retentie van 7 dagen.		Elke donderdag wordt er een volledige backup gemaakt en alle overige dagen wordt een incremental backup gemaakt met retentie van 7 dagen.

	=== back-up naar NAS bas ===		=== back-up naar NAS bas ===
	Elke dag maken we een acronis backup naar de NAS bij Bas.		Elke dag maken we een acronis backup naar de NAS bij Bas.
	Deze backup is encrypted aan de ~~nas~~ zijde.		Deze backup is encrypted aan de NAS zijde.
	==== schedule ====		==== schedule ====
	Elke zondag wordt er volledige backup gemaakt en alle overige dagen wordt een incremental backup gemaakt met retentie van 7 dagen.		Elke zondag wordt er een volledige backup gemaakt en alle overige dagen wordt een incremental backup gemaakt met retentie van 7 dagen.

	= encrypted backup ldap-lb1/lb2 =		= encrypted backup ldap-lb1/lb2 =
Line 900:		Line 900:
	== script /usr/local/hobbynet/local/backup-encrypted.bash ==		== script /usr/local/hobbynet/local/backup-encrypted.bash ==

	<pre>		<pre class="mw-collapsible mw-collapsed">
	#!/bin/bash		#!/bin/bash
	# Maak LDAP dump, zet deze encrypted weg op de backup omgeving		# Maak LDAP dump, zet deze encrypted weg op de backup omgeving
Line 997:		Line 997:

	echo "======================= /usr/local/hobbynet/local/backup-encrypted ended ============="		echo "======================= /usr/local/hobbynet/local/backup-encrypted ended ============="
	</pre>		<pre class="mw-collapsible mw-collapsed">
	= encrypted backup xml-lb1/lb2 =		= encrypted backup xml-lb1/lb2 =
	Elke dag wordt een encrypted backup gemaakt van xml-lb1 en xml-lb2.		Elke dag wordt een encrypted backup gemaakt van xml-lb1 en xml-lb2.

Bas: /* back-up naar NAS Bas (externe backup) */

2019-02-10T14:36:01Z

back-up naar NAS Bas (externe backup)

← Older revision		Revision as of 16:36, 10 February 2019
Line 809:		Line 809:
	Deze back-up is encrypted aan de NAS zijde.		Deze back-up is encrypted aan de NAS zijde.
	==== schedule ====		==== schedule ====
	Elke ~~zondag~~ wordt er volledige back-up gemaakt en alle overige dagen wordt een incremental backup gemaakt met retentie van 7 dagen.<br>		Elke Woensdag wordt er volledige back-up gemaakt en alle overige dagen wordt een incremental backup gemaakt met retentie van 7 dagen.<br>
	Elke ~~vrijdag~~ wordt ook een '''extra''' week back-up gemaakt naar de NAS bij Bas met een retentie 30 dagen.		Elke Vrijdag wordt ook een '''extra''' week back-up gemaakt naar de NAS bij Bas met een retentie 30 dagen.

	== sql back-up ==		== sql back-up ==

Bas: /* schedule */

2019-02-10T14:33:59Z

schedule

← Older revision		Revision as of 16:33, 10 February 2019
Line 880:		Line 880:
	Deze backup is encrypted aan de NAS zijde		Deze backup is encrypted aan de NAS zijde
	==== schedule ====		==== schedule ====
	Elke ~~zondag~~ wordt er volledige backup gemaakt en alle overige dagen wordt een incremental backup gemaakt met retentie van 7 dagen.		Elke Donderdag wordt er volledige backup gemaakt en alle overige dagen wordt een incremental backup gemaakt met retentie van 7 dagen.

	=== back-up naar NAS bas ===		=== back-up naar NAS bas ===

Hans at 12:55, 10 February 2019

2019-02-10T12:55:42Z

Show changes

185.92.71.146: /* schedule */

2019-02-10T11:59:12Z

schedule

← Older revision		Revision as of 13:59, 10 February 2019
Line 790:		Line 790:
	Deze backup is encrypted aan de nas zijde		Deze backup is encrypted aan de nas zijde
	==== schedule ====		==== schedule ====
	Elke zondag wordt er volledige backup gemaakt en alle overige dagen wordt een incrementel backup gemaakt met retentie van 7 dagen		Elke zondag wordt er volledige backup gemaakt en alle overige dagen wordt een incrementel backup gemaakt met retentie van 7 dagen <br>
	Elke ~~zondag~~ wordt ook een '''extra''' week backup gemaakt naar de nas in het rack me een retentie 30 dagen		Elke Donderdag wordt ook een '''extra''' week backup gemaakt naar de nas in het rack me een retentie 30 dagen

	=== back-up naar NAS bas ===		=== back-up naar NAS bas ===

185.92.71.146: /* schedule */

2019-02-10T11:58:15Z

schedule

← Older revision		Revision as of 13:58, 10 February 2019
Line 797:		Line 797:
	Deze back-up is encrypted aan de nas zijde		Deze back-up is encrypted aan de nas zijde
	==== schedule ====		==== schedule ====
	Elke zondag wordt er volledige back-up gemaakt en alle overige dagen wordt een incrementel backup gemaakt met retentie van 7 dagen		Elke zondag wordt er volledige back-up gemaakt en alle overige dagen wordt een incrementel backup gemaakt met retentie van 7 dagen<br>
	Elke ~~Zaterdag~~ wordt ook een '''extra''' week back-up gemaakt naar de nas in bij bas me een retentie 30 dagen		Elke vrijdag wordt ook een '''extra''' week back-up gemaakt naar de nas in bij bas me een retentie 30 dagen<br>

	== sql back-up ==		== sql back-up ==

Bas: /* encrypted backup ldap-lb1 */

2019-02-10T11:45:17Z

encrypted backup ldap-lb1

@@ Line 876: / Line 876: @@
 Elke zondag wordt er volledige backup gemaakt en alle overige dagen wordt een incrementel backup gemaakt met retentie van 7 dagen
-= encrypted backup ldap-lb1 =
+= encrypted backup ldap-lb1/lb2 =
 Elke dag wordt een encrypted backup gemaakt van ldap-lb1 en ldap lb2.
 Deze wordt na encrypted gekopieerd naar backup2bit zodat het mee gaat in de externe backup.
@@ Line 986: / Line 986: @@
 echo "======================= /usr/local/hobbynet/local/backup-encrypted ended ============="
 </pre>

Bas: /* encrypted backup ldap-lb1 */

2019-02-10T11:43:03Z

encrypted backup ldap-lb1

← Older revision		Revision as of 13:43, 10 February 2019
Line 877:		Line 877:

	= encrypted backup ldap-lb1 =		= encrypted backup ldap-lb1 =
			Elke dag wordt een encrypted backup gemaakt van ldap-lb1 en ldap lb2.
			Deze wordt na encrypted gekopieerd naar backup2bit zodat het mee gaat in de externe backup.
			Het volgende wordt gebackupt:
			* sql backup alle database
			* slapcat van ldap
			* etc directory
			* /usr/local/hobbynet/*


			== script /usr/local/hobbynet/local/backup-encrypted.bash ==

			<pre>
			#!/bin/bash
			# Maak LDAP dump, zet deze encrypted weg op de backup omgeving
			#
			# backup_ldap
			#
			# Create full backup of
			# - ldap database (slapcat output)
			# - /usr/local/hobbynet tree
			# - /etc tree
			#

			export PASSPHRASE="heel geheim"
			export SIGN_PASSPHRASE=$PASSPHRASE
			ENCRYPT_KEY="het key id"
			HNET=/usr/local/hobbynet
			HNET_BIN=$HNET/bin
			HNET_LIB=$HNET/lib
			HNET_DATA=$HNET/data
			HNET_TMP=$HNET/tmp
			HNET_BACKUPFILE=usr-local-hobbynet-backup.$(date +%a).tgz
			HNET_BACKUP=$HNET_TMP/$HNET_BACKUPFILE
			HNET_BACKUPSQLFILE=sql-backup.$(date +%a).sql
			HNET_SQLBACKUP=$HNET_TMP/$HNET_BACKUPSQLFILE
			HNET_LOCK=$HNET_TMP/backup_ldap-lb1.lock
			LDAP_DUMP=hcc-dump.ldif
			LDAP_BACKUPFILE=ldap-data-backup.$(date +%a).tgz
			LDAP_BACKUP=$HNET_TMP/$LDAP_BACKUPFILE
			ETC=/etc
			ETC_BACKUPFILE=etc-backup.$(date +%a).tgz
			ETC_BACKUP=$HNET_TMP/$ETC_BACKUPFILE
			REMOTE_BACKUPUSER=ldap-lb1
			REMOTE_BACKUP_DIR=/disk/backup/ldap-lb1-int

			# zet de datum in het logbestand
			echo "======================= /usr/local/hobbynet/local/backup-encrypted ============="
			date

			if [ -e $HNET_LOCK ]; then
			echo "Script $0 is already running"
			echo "If not, remove $HNET_LOCK and run again"
			exit
			fi

			# Create the lockfile
			touch $HNET_LOCK

			logger -p auth.notice "== backup_ldap_lb1 started =="

			# maak dump
			/usr/sbin/slapcat \
			-l $HNET_DATA/$LDAP_DUMP \
			-b "dc=hcc,dc=nl"

			# Om foutmeldingen weg te draaien, stuur tar eerst naar de juiste map (-C)
			# maak hier een tar.gz bestand van
			tar -czf $LDAP_BACKUP -C $HNET_DATA $LDAP_DUMP

			# - /usr/local/hobbynet/lib/*
			# - /usr/local/hobbynet/bin/*
			tar -czf $HNET_BACKUP -C $HNET lib bin

			# Maak een tar.gz van de /etc tree
			tar -czf $ETC_BACKUP -C / etc

			# Maak mysqldump
			rm $HNET_SQLBACKUP $HNET_SQLBACKUP.tgz $HNET_SQLBACKUP.tgz.gpg -f
			mysqldump --all-databases >$HNET_SQLBACKUP
			# Om foutmeldingen weg te draaien, stuur tar eerst naar de juiste map (-C)
			tar -czf $HNET_SQLBACKUP.tgz -C $HNET_TMP $HNET_BACKUPSQLFILE

			# - versleutel de bestanden $LDAP_BACKUP, $HNET_BACKUP, $ETC_BACKUP en $HNET_SQLBACKUP.tgz
			rm /usr/local/hobbynet/tmp/*.$(date +%a).tgz.gpg
			gpg --batch --default-key $ENCRYPT_KEY --default-recipient-self --encrypt $HNET_BACKUP 2>&1
			gpg --batch --default-key $ENCRYPT_KEY --default-recipient-self --encrypt $LDAP_BACKUP 2>&1
			gpg --batch --default-key $ENCRYPT_KEY --default-recipient-self --encrypt $ETC_BACKUP 2>&1
			gpg --batch --default-key $ENCRYPT_KEY --default-recipient-self --encrypt $HNET_SQLBACKUP.tgz 2>&1

			# - bewaar deze versleutelde bestanden op backup2bit
			scp $HNET_BACKUP.gpg $REMOTE_BACKUPUSER@backup2bit-int:$REMOTE_BACKUP_DIR/$HNET_BACKUPFILE.gpg
			scp $LDAP_BACKUP.gpg $REMOTE_BACKUPUSER@backup2bit-int:$REMOTE_BACKUP_DIR/$LDAP_BACKUPFILE.gpg
			scp $ETC_BACKUP.gpg $REMOTE_BACKUPUSER@backup2bit-int:$REMOTE_BACKUP_DIR/$ETC_BACKUPFILE.gpg
			scp $HNET_SQLBACKUP.tgz.gpg $REMOTE_BACKUPUSER@backup2bit-int:$REMOTE_BACKUP_DIR/$HNET_BACKUPSQLFILE.tgz.gpg
			ssh $REMOTE_BACKUPUSER@backup2bit-int "chmod 600 $REMOTE_BACKUP_DIR/*"

			ls -lt $HNET_BACKUP* $LDAP_BACKUP* $ETC_BACKUP* $HNET_SQLBACKUP*
			logger -p auth.notice "== backup_ldap_lb1 ended =="

			# remove the dump to preserve space
			rm $HNET_DATA/$LDAP_DUMP
			# Finally remove the file lock
			rm $HNET_LOCK
			#echo wis passphrase
			export PASSPHRASE
			export SIGN_PASSPHRASE

			echo "======================= /usr/local/hobbynet/local/backup-encrypted ended ============="
			</pre>

Bas: /* schedule */

2019-02-10T11:37:31Z

schedule

← Older revision		Revision as of 13:37, 10 February 2019
Line 875:		Line 875:
	==== schedule ====		==== schedule ====
	Elke zondag wordt er volledige backup gemaakt en alle overige dagen wordt een incrementel backup gemaakt met retentie van 7 dagen		Elke zondag wordt er volledige backup gemaakt en alle overige dagen wordt een incrementel backup gemaakt met retentie van 7 dagen

			= encrypted backup ldap-lb1 =

Bas: /* back-up naar NAS bas */

2019-02-10T11:26:57Z

back-up naar NAS bas

← Older revision		Revision as of 13:26, 10 February 2019
Line 871:		Line 871:

	=== back-up naar NAS bas ===		=== back-up naar NAS bas ===
			Elke dag maken we een acronis backup naar de NAS in bij bas.
			Deze backup is encrypted aan de nas zijde
			==== schedule ====
			Elke zondag wordt er volledige backup gemaakt en alle overige dagen wordt een incrementel backup gemaakt met retentie van 7 dagen