MySQL cluster: Difference between revisions

From Hobbynet Admin Wiki
Jump to navigation Jump to search
VisualWikitext
 
(17 intermediate revisions by 3 users not shown)
Line 4: Line 4:


= loadbalancing =
= loadbalancing =
Omdat we maar willen dat er 1 server wordt aangesproken (i.p.v. allebei tegelijk), zodat er geen locking problemen ontstaan, is de loadbalancer in failover mode geconfigureerd. Voor meer info zie [[Loadbalancers]]
Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server.<br>
'''belangrijk'''<br>
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database


= database clusters =
= database clusters =
== dbclus01-int ==
== dbclus01-int ==
Dit cluster bestaat uit mysql01 en mysql02
== hcc-dbclus02-int ==
== hcc-dbclus02-int ==
Dit cluster bestaat uit mysql03 en mysql04
== dbclus04-int ==
== dbclus04-int ==
Dit cluster bestaat uit mysql05 en mysql06
== dbclus05-int ==
Dit cluster bestaat uit mysql07 en mysql08


= database cluster 02 (hcc.nl) hcc-dbclus02-int=
=configuratie =  
== configuratie ==
De twee servers staan in de 'master master replicatie' mode, dit wil zeggen als er een mutatie wordt gedaan op server 1, dat deze ook wordt doorgevoerd op server 2.
 
De loadbalancer zorgt er voor dat server 1 altijd wordt aangesproken. Is server 1 down dat wordt er omgeschakeld naar server2 zonder dat gebruiker hier iets van merkt.
 
== config files ==
=== hcc-db03 ===
De config aanpassingen die gedaan zijn op standaard config zijn:
 
server-id                = '''3'''
log_bin                  = /var/log/mysql/mysql-bin.log
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset    = 1
expire_logs_days        = 10
max_binlog_size          = 100M
binlog_do_db            = bas
# lbtest mag nooit weg ivm loadbalancing test of mysql nog werkt!
binlog_do_db            = lbtest
binlog_do_db            = www-prod
<snip>
binlog_ignore_db        = mysql
 
=== hcc-db04 ===
De config aanpassingen die gedaan zijn op standaard config zijn:
server-id                = '''4'''
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset    = 2
log_bin                  = /var/log/mysql/mysql-bin.log
expire_logs_days        = 10
max_binlog_size          = 100M
binlog_do_db            = bas
# lbtest mag nooit weg ivm loadbalancing test of mysql nog werkt!
binlog_do_db            = lbtest
binlog_do_db            = www-prod
<snip>
binlog_ignore_db        = mysql
 
= database aan replicatie toevoegen =
* maak zo nodig de database user aan op '''beide database servers'''
* ken rechten toe op '''beide database servers'''
 
LET OP: ''de gebruiker en de rechten worden niet gerepliceerd, die moeten dus echt zoals hier beschreven '''dubbel''' worden aangemaakt!''
 
= database uit replicatie verwijderen =
* verwijder database op 1 van beide database servers
* verwijder zo nodig bij behorende user op '''beide database servers'''
 
= status replicatie bekijken =
== goede status ==
Een goede status ziet er als volgt uit:
<pre>
mysql> show slave status\G
*************************** 1. row ***************************
              Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.31.1.214
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000023
          Read_Master_Log_Pos: 23081
              Relay_Log_File: db01-int-relay-bin.000135
                Relay_Log_Pos: 251
        Relay_Master_Log_File: mysql-bin.000023
            Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
          Replicate_Do_Table:
      Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                  Last_Errno: 0
                  Last_Error:
                Skip_Counter: 0
          Exec_Master_Log_Pos: 23081
              Relay_Log_Space: 554
              Until_Condition: None
              Until_Log_File:
                Until_Log_Pos: 0
          Master_SSL_Allowed: No
          Master_SSL_CA_File:
          Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
              Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
              Last_SQL_Errno : 0
              Last_SQL_Error:
1 row in set (0.00 sec)
</pre>
Zowel Slave_IO_Running als Slave_SQL_Running staan op 'yes', en Slave_IO_State staat op 'Waiting for master to send event'
 
== foute status ==
Zo ziet een foute status er uit.
<pre>
mysql> show slave status\G
*************************** 1. row ***************************
              Slave_IO_State: Reconnecting after a failed master event read
                  Master_Host: 172.31.1.214
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000023
          Read_Master_Log_Pos: 23081
              Relay_Log_File: db01-int-relay-bin.000136
                Relay_Log_Pos: 251
        Relay_Master_Log_File: mysql-bin.000023
            Slave_IO_Running: No
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
          Replicate_Do_Table:
      Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                  Last_Errno: 0
                  Last_Error:
                Skip_Counter: 0
          Exec_Master_Log_Pos: 23081
              Relay_Log_Space: 554
              Until_Condition: None
              Until_Log_File:
                Until_Log_Pos: 0
          Master_SSL_Allowed: No
          Master_SSL_CA_File:
          Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
              Master_SSL_Key:
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 2013
                Last_IO_Error: error reconnecting to master 'repl@172.31.1.214:3306' - retry-time: 60  retries: 86400
              Last_SQL_Errno: 0
              Last_SQL_Error:
1 row in set (0.00 sec)
</pre>
zoals je kan zien staat Slave_IO_Running op 'No' en staat er een melding bij Last_IO_Error. In dit geval staat de ander db server gewoon uit voor bijvoorbeeld een OS update. Dit probleem zal zich daarom vanzelf weer herstellen.
 
= herstel van replicatie =
== automatisch ==
Als als goed gaat wordt nadat een server weer online komt hij weer helemaal upd2date gebracht.
== handmatig ==
Op het moment dat een server niet automatisch up2date wordt gebracht, moet dit handmatig gebeuren.
=== replicatie stop zetten ===
Dan moet op beide server het commando "stop slave;" gegeven worden.<br>
De host die niet up2date is moet in de loadbalancer worden uitgeschakeld, indien mogelijk beide servers, dat voorkomt fouten.
Zolang directe toegang tot de servers mogelijk is (load-banlancer probleem) moet de firewall even aangepast worden.


=== replicatie herstellen ===
== configuratie files ==  
==== voor de gefaalde host ====
al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d
Maak eerst backup van de gefaalde en goede host je weet maar nooit.<br>
Hierna drop je alle databases die gerepliceerd worden. '''dus niet MYSQL!!!!'''<br>
Daar doe je eerst op de master een "show master status \g" op de goede host. De gegevens hieruit hebben we nodig om de replicatie naar de gefaalde host weer op gang te brengen. 
<pre>
mysql> show master status \g
+------------------+----------+-----------------------------------------------------------------+------------------+
| File            | Position | Binlog_Do_DB                                                    | Binlog_Ignore_DB |
+------------------+----------+-----------------------------------------------------------------+------------------+
| mysql-bin.000012 |  4154828 | bas,lbtest,www-prod,www-test,hcc-gebruikers,hcc-gebruikers-test | mysql            |
+------------------+----------+-----------------------------------------------------------------+------------------+
1 row in set (0.00 sec)
</pre>
Hier moet de huidige stand van zaken overbrengen naar de gefaalde host dat doe je als volgt:
<pre>
mysqldump --all-databases | mysql -h hostgefaald-int -u bas -pjegeheimewachtwoord
</pre>
Gebruik hier natuurlijk je mysql credentials met volledige rechten.<br>
daarna login met mysql in op de gefaalde host en geef je volgende query in.<br>
<pre>
CHANGE MASTER TO MASTER_HOST='IP goede DB server', MASTER_USER='repl', MASTER_PASSWORD='*******', MASTER_LOG_FILE='mysql-bin.000012', MASTER_LOG_POS=4154828 ;
</pre>
De master_log_file en _master_log_pos haal je op van de eerder gedane 'show master status'<br>
Hierna geef je het commando 'start slave;'<br>
Hierna ga je het commando 'show slave status\G' om te zien of alles weer loopt, als het goed is ziet het er dan ongeveer zo uit.
<pre>
mysql> show slave status\G
*************************** 1. row ***************************
              Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.31.1.214
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000023
          Read_Master_Log_Pos: 23081
              Relay_Log_File: db01-int-relay-bin.000135
                Relay_Log_Pos: 251
        Relay_Master_Log_File: mysql-bin.000023
            Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
          Replicate_Do_Table:
      Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                  Last_Errno: 0
                  Last_Error:
                Skip_Counter: 0
          Exec_Master_Log_Pos: 23081
              Relay_Log_Space: 554
              Until_Condition: None
              Until_Log_File:
                Until_Log_Pos: 0
          Master_SSL_Allowed: No
          Master_SSL_CA_File:
          Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
              Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
              Last_SQL_Errno : 0
              Last_SQL_Error:
1 row in set (0.00 sec)
</pre>
Het belangrijkste is dat dat state op 'Waiting for master to send event' en de volgende beide op 'yes' staan. (let op de state kan even duren voordat hij deze status krijgt)
<pre>
          Slave_IO_State  : Waiting for master to send event
          Slave_IO_Running : Yes
          Slave_SQL_Running: Yes
</pre>
Nu kan de goede host weer worden bijgeschakeld in de loadbalancer, want hij stuurt zijn wijzigingen door naar de ander database server.<br>
Nu moet nog alleen de replicatie van de gefaalde host naar de goede host ook hersteld worden. Op het inlezen van e database na is dit het zelfde concept. Denk eraan het IP adres in de CHANGE_MASTER goed te zetten!


==== voor de goede host ====
=== mysqld.cnf ===
Nu moeten we ook op de voormalig gefaalde host een  "show master status \g" doen. De gegevens van hier hebben we nodig om de replicatie naar de goede host weer op gang te brengen. ''' de waarde verschillen bijna elke keer als je het commando geeft'''
In deze file hebben we 1 aanpassing gedaan we hebben
<pre>
bind-address          = 127.0.0.1
mysql> show master status \g
voorzien van commentaar
+------------------+----------+-----------------------------------------------------------------+------------------+
| File            | Position | Binlog_Do_DB                                                    | Binlog_Ignore_DB |
+------------------+----------+-----------------------------------------------------------------+------------------+
| mysql-bin.000012 |  4154828 | bas,lbtest,www-prod,www-test,hcc-gebruikers,hcc-gebruikers-test | mysql            |
+------------------+----------+-----------------------------------------------------------------+------------------+
1 row in set (0.00 sec)
</pre>
Hierna starten we op de goede host de replicatie weer op halen bij de voormalig gefaalde DB server.
''(??wat wordt hier bedoeld??)''


<pre>
=== ssl.cnf ===
CHANGE MASTER TO MASTER_HOST='IP voormalig gefaalde DB server', MASTER_USER='repl', MASTER_PASSWORD='fxq5jLqWDYXYKhPD', MASTER_LOG_FILE='mysql-bin.000012', MASTER_LOG_POS=4154828 ;
Mysql beschikt over ssl daarom is dit ook geconfigureerd, onder andere de replicatie gebruikt het. De ssl.cnf file ziet er zo uit:
</pre>
[mysqld]
De master_log_file en _master_log_pos haal je op van de eerder gedane 'show master status'<br>
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
Hierna geef je het commando 'start slave;'<br>
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
Hierna kan je met het commando 'show slave status\G' zien of alles weer loopt, als het goed is ziet er dan ongeveer zo uit.
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key
<pre>
mysql> show slave status\G
*************************** 1. row ***************************
              Slave_IO_State: Waiting for master to send event
                  Master_Host: 172.31.1.214
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000023
          Read_Master_Log_Pos: 23081
              Relay_Log_File: db01-int-relay-bin.000135
                Relay_Log_Pos: 251
        Relay_Master_Log_File: mysql-bin.000023
            Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
          Replicate_Do_Table:
      Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                  Last_Errno: 0
                  Last_Error:
                Skip_Counter: 0
          Exec_Master_Log_Pos: 23081
              Relay_Log_Space: 554
              Until_Condition: None
              Until_Log_File:
                Until_Log_Pos: 0
          Master_SSL_Allowed: No
          Master_SSL_CA_File:
          Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
              Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
              Last_SQL_Errno : 0
              Last_SQL_Error:
1 row in set (0.00 sec)
</pre>
Het belangrijkste is dat dat 'state' op 'Waiting for master to send event' en de volgende beide op 'yes' staan (let op: de state kan even duren voor dat hij deze status krijgt).
<pre>
          Slave_IO_State  : Waiting for master to send event
          Slave_IO_Running : Yes
          Slave_SQL_Running: Yes
</pre>
Als ook dit in orde is kan je ook deze host weer bijschakelen in de loadbalancer.


= maximaal aantal connecties =
=== replicatie.cnf ===
Op db01 en db02 berperken we het aantal connecties per gebruiker omdat nog wat gebruikers heel veel connecties blijven open en daar door de mysql server voor iedereen onbereikbaar maken.
Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2. Er mogen nooit 2 de zelfde id's zijn. Ook is de waarde van auto-increment-offset belangrijk; bij de oneven server is dat 1 en bij even 2. <br>
Daarnaast is er ook ingesteld, dat als 180 seconden connectie niks doet hij getermineerd wordt.


De config die voor nodig is:
Voor oneven server ziet hij er zo uit:
<pre>
#sql mode uit voor toestaan lege velden
#maximaal aantal connecties en hum time out waarde
sql-mode                        =      ""
max_connections        = 1000
server-id                      =      1
interactive_timeout    = 180
replicate-same-server-id        =       0
wait_timeout            = 180
auto-increment-increment        =       2
</pre>
auto-increment-offset          =       1
= offset =
relay-log                      =      mysql01-relay-bin
Om te zorgen dat er tijdens de replicatie geen dubbele key's ontstaan (omdat beide server theoretisch precies tegelijk een mutatie kunnen uitvoeren) zit er een offset ingebouwd.<br>
binlog_format                  =       "STATEMENT"
Dit houdt in dat db01-int alle '''oneven''' nrs gebruikt en db02-int alle '''even''' nrs voor auto increment.
replicate-ignore-db            =       information_schema
  Db01 begint bij 1 en volgende 3 etcetera
  replicate-ignore-db            =      mysql
  Db02 begint bij 2 en volgende 4 etcetera
binlog-ignore-db                =      information_schema
  binlog-ignore-db                =      mysql
  log_bin                        =      /var/log/mysql/mysql-bin.log
  slave-skip-errors = 1062


=== credentials.cnf ===
Op de server is root voor localhost voorzien van een wachtwoord om toch mysqldump en het mysql commando te kunnen gebruiken. De eigenaar van deze file is root:mysql met permissies 640.


= Betekenis van de mysql-bin bestanden =
=== tunning.cnf ===
De bin log files zijn nodig voor replicatie en juist als er een down is geweest voor controle.
Deze file bevat performance tuning. Dit is server specifiek, maar er moet in ieder geval deze regel in staan :
[mysqld]
skip-name-resolve    =      1


En dat de aantallen per server afwijken dat kan heel goed, het gaat er om hoeveel mutaties er op 1 server zijn uit gevoerd, dus het aantal kan en zal verschillen per server.
= starten/herstellen replicatie =
== herstel ==
Bij herstellen moet je op beide servers de volgende sql commando's uitvoeren:
stop slave;
reset slave;
Op de '''defecte''' server verwijder je vervolgens alle databases '''nadat je eerst een backup hebt gemaakt'''


Het aantal bestanden wordt zelf door mysql gereguleerd en hangt vanaf van het aantal en grootte mutaties.
=== start replicatie ===
Log files ouder dan 10 dagen worden verwijderd.
Zorg er voor dat de database niet meer benaderd/gemuteerd wordt. Zet hem uit in de loadbalancer, zowel voor IPv4 als voor IPv6<br>
Haal bij de '''goede''' server de log positie op:
mysql> show master status\G


Zeker als er veel Joomla updates zijn geweest en die zijn tegen 1 server aangehouden bijvoorbeeld op 22 october dan zullen daar veel meer en grote logs zijn.
*************************** 1. row ***************************
              File: mysql-bin.000057
          Position: 71061044
      Binlog_Do_DB:
  Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)
Noteer de file en position<br>
maak mysqldump en pipe die naar de gefaalde server
  mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p
Vul je wachtwoord in en de database wordt gedump naar de ander server (dit kan effe duren).


root@mail-lb1:/var/log/mysql# ls -l | grep bin
Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl user en position bij master_log_pos en de file bij master_log_file
  -rw-r----- 1 mysql mysql 1180363 Oct 17 06:25 mysql-bin.000811
  CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', '''MASTER_PASSWORD='******',''' '''MASTER_LOG_FILE='mysql-bin.000057',''' '''MASTER_LOG_POS=71061044,''' MASTER_SSL = 1, MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
-rw-r----- 1 mysql mysql 1548726 Oct 18 06:25 mysql-bin.000812
  start slave;
-rw-r----- 1 mysql mysql  147778 Oct 18 17:59 mysql-bin.000813
  -rw-r----- 1 mysql mysql    1045 Oct 18 18:11 mysql-bin.000814


= links =
Nu moeten we controleren of de replicatie deze kant op loopt, dit doe je met het commando
http://www.hbyconsultancy.com/blog/create-a-master-master-mysql-replication-ubuntu-server-10-04-x64.html de handleiding die ik gebruikt heb in eerste instantie<br>
mysql> show slave status\G
http://www.neocodesoftware.com/replication/ deze handleiding heb ik later gebruikt om het een en ander te verbeteren
*************************** 1. row ***************************
                Slave_IO_State: Waiting for master to send event
                  Master_Host: mysql02-int.hobby.nl
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000026
          Read_Master_Log_Pos: 72292974
                Relay_Log_File: mysql01-relay-bin.000056
                Relay_Log_Pos: 72293189
        Relay_Master_Log_File: mysql-bin.000026
              '''Slave_IO_Running: Yes'''
            '''Slave_SQL_Running: Yes'''
              Replicate_Do_DB:
          Replicate_Ignore_DB: information_schema,mysql
            Replicate_Do_Table:
        Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                    Last_Errno: 0
                    Last_Error:
                  Skip_Counter: 0
          Exec_Master_Log_Pos: 72292974
              Relay_Log_Space: 72293447
              Until_Condition: None
                Until_Log_File:
                Until_Log_Pos: 0
            Master_SSL_Allowed: Yes
            Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
            Master_SSL_CA_Path:
              Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
            Master_SSL_Cipher:
                Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
                Last_SQL_Errno: 0
                Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
              Master_Server_Id: 2
                  Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
              Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
            Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
      Last_SQL_Error_Timestamp:
                Master_SSL_Crl:
            Master_SSL_Crlpath:
            Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
          Replicate_Rewrite_DB:
                  Channel_Name:
            Master_TLS_Version:
        Master_public_key_path:
        Get_master_public_key: 0
            Network_Namespace:
1 row in set, 1 warning (0.00 sec)
Controleer of '''Slave_IO_Running''' en '''Slave_SQL_Running''' op yes staan.<br>
Als dit is het geval moeten we de replicatie naar de 1e server ook herstellen. Dit doe je door dezelfde stappen te herhalen vanaf 'show master status'

Latest revision as of 12:15, 30 December 2020

doel

Om te zorgen dat onze database server ook volledig redundant is hebben we hier een cluster gemaakt, onze loadbalancer zorgt er voor dat verkeer of op db01 of op db02 terecht komt.

opzet

loadbalancing

Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server.
belangrijk
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database

database clusters

dbclus01-int

Dit cluster bestaat uit mysql01 en mysql02

hcc-dbclus02-int

Dit cluster bestaat uit mysql03 en mysql04

dbclus04-int

Dit cluster bestaat uit mysql05 en mysql06

dbclus05-int

Dit cluster bestaat uit mysql07 en mysql08

configuratie

configuratie files

al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d

mysqld.cnf

In deze file hebben we 1 aanpassing gedaan we hebben 

bind-address           = 127.0.0.1

voorzien van commentaar

ssl.cnf

Mysql beschikt over ssl daarom is dit ook geconfigureerd, onder andere de replicatie gebruikt het. De ssl.cnf file ziet er zo uit: 

[mysqld]
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key

replicatie.cnf

Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2. Er mogen nooit 2 de zelfde id's zijn. Ook is de waarde van auto-increment-offset belangrijk; bij de oneven server is dat 1 en bij even 2.

Voor oneven server ziet hij er zo uit: 

#sql mode uit voor toestaan lege velden
sql-mode                        =       ""
server-id                       =       1
replicate-same-server-id        =       0
auto-increment-increment        =       2
auto-increment-offset           =       1
relay-log                       =       mysql01-relay-bin
binlog_format                   =       "STATEMENT"
replicate-ignore-db             =       information_schema
replicate-ignore-db             =       mysql
binlog-ignore-db                =       information_schema
binlog-ignore-db                =       mysql
log_bin                         =       /var/log/mysql/mysql-bin.log
slave-skip-errors = 1062

credentials.cnf

Op de server is root voor localhost voorzien van een wachtwoord om toch mysqldump en het mysql commando te kunnen gebruiken. De eigenaar van deze file is root:mysql met permissies 640.

tunning.cnf

Deze file bevat performance tuning. Dit is server specifiek, maar er moet in ieder geval deze regel in staan : 

[mysqld]
skip-name-resolve    =       1

starten/herstellen replicatie

herstel

Bij herstellen moet je op beide servers de volgende sql commando's uitvoeren: 

stop slave;
reset slave;

Op de defecte server verwijder je vervolgens alle databases nadat je eerst een backup hebt gemaakt

start replicatie

Zorg er voor dat de database niet meer benaderd/gemuteerd wordt. Zet hem uit in de loadbalancer, zowel voor IPv4 als voor IPv6
Haal bij de goede server de log positie op: 

mysql> show master status\G

*************************** 1. row ***************************
             File: mysql-bin.000057
         Position: 71061044
     Binlog_Do_DB:
 Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)

Noteer de file en position
maak mysqldump en pipe die naar de gefaalde server 

 mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p

Vul je wachtwoord in en de database wordt gedump naar de ander server (dit kan effe duren).

Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl user en position bij master_log_pos en de file bij master_log_file 

CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', MASTER_PASSWORD='******', MASTER_LOG_FILE='mysql-bin.000057', MASTER_LOG_POS=71061044, MASTER_SSL = 1, MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
start slave;

Nu moeten we controleren of de replicatie deze kant op loopt, dit doe je met het commando 

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: mysql02-int.hobby.nl
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000026
          Read_Master_Log_Pos: 72292974
               Relay_Log_File: mysql01-relay-bin.000056
                Relay_Log_Pos: 72293189
        Relay_Master_Log_File: mysql-bin.000026
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB: information_schema,mysql
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 72292974
              Relay_Log_Space: 72293447
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: Yes
           Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
           Master_SSL_CA_Path:
              Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
            Master_SSL_Cipher:
               Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 2
                  Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
       Master_public_key_path:
        Get_master_public_key: 0
            Network_Namespace:
1 row in set, 1 warning (0.00 sec)

Controleer of Slave_IO_Running en Slave_SQL_Running op yes staan.
Als dit is het geval moeten we de replicatie naar de 1e server ook herstellen. Dit doe je door dezelfde stappen te herhalen vanaf 'show master status'

Retrieved from "https://wiki.hobby.nl/index.php?title=MySQL_cluster&oldid=79200"