Uitleg scripts

From Hobbynet Admin Wiki
Jump to navigation Jump to search

Introductie

De scripting is er op gericht een aantal tabellen toe te voegen aan de postfixadmin database. De tabellen zijn helemaal standaard gehouden zoals postfixadmin ze aanmaakt bij de installatie maar voor 4 tabellen wordt een identieke tabel gemaakt die NIET onder PostfixAdmin beheerd wordt. Postfixadmin kan worden gebruikt om veranderingen aan te brengen in het beheerde deel dat alleen Hobbynet en/of Hobbynetleden betreft. Het Kadernet deel bevindt zich in de onzichtbare extra tabellen.

Locatie van de bestanden

De bron bestanden: husers, dusers, b3a.txt, b3n.txt, alias.txt alias_domain.txt en de header/footer files staan in /usr/local/hobbynet/lib directory. De scripts staan in /usr/local/hobbynet/bin.

Scripts

De (perl) scripts zijn bewust kort en simpel (KISS) gehouden om ze zo modulair mogelijk te maken. De tactiek is telkens hetzelfde: bij een SQL loader file is er een header, tussenliggende gelijksoortige data regels en een footer te onderscheiden.

  • De header is alle tekst die door een MySQL dump gemaakt wordt (met een delete-if-exists erin), tot en met de eerste SQL regel: INSERT INTO...VALUES.
  • De diverse scripts voegen de tussenliggende data regels toe.
  • De footer is gewoonlijk een laatste data regel maar dan eindigend op ; in plaats van ,.

upd_smail

Dit script is het overkoepelende script dat alle gen_* scripts op zijn beurt aanroept en mysql om de database te laden. upd_smail op zijn beurt wordt weer door upd_all aangeroepen. In dit upd_smail script worden de SQL header files samengevoegd met de output van de verschillende gen_* scripts. Ook wordt een SQL footer toegevoegd, vaak alleen om de SQL te beëindigen met een ;. Tenslotte wordt mysql gebruikt on de data te laden waarbij de tabellen in z'n geheel wordt vervangen. 

#!/bin/sh
#

CHOWN=/bin/chown
CHMOD=/bin/chmod

HNET=/usr/local/hobbynet
HNET_BIN=$HNET/bin
HNET_LIB=$HNET/lib

cd $HNET_LIB

echo $1

###################### new scripting for MySQL bases Postfix ############################
#
echo "Building mailbox table for Hobbynet..."
cp $HNET_LIB/mailbox_header.tmpl $HNET_LIB/mailbox.sql
$HNET_BIN/gen_mailbox >> $HNET_LIB/mailbox.sql
cat $HNET_LIB/mailbox_footer.tmpl >> $HNET_LIB/mailbox.sql
$CHMOD 644 $HNET_LIB/mailbox.sql
$CHOWN root:root $HNET_LIB/mailbox.sql
mysql -u postfixadmin -pvFSQiD7uRyaF postfixadmin <$HNET_LIB/mailbox.sql
mysqldump -u postfixadmin -pvFSQiD7uRyaF -c postfixadmin mailbox >$HNET_LIB/mailbox_saved.sql
#
echo "Building alias table for Hobbynet..."
cp $HNET_LIB/alias_header.tmpl $HNET_LIB/alias.sql
$HNET_BIN/gen_alias >> $HNET_LIB/alias.sql
$HNET_BIN/gen_fff_hobbynet_alias >> $HNET_LIB/alias.sql
$HNET_BIN/gen_fff_www_alias >> $HNET_LIB/alias.sql
$HNET_BIN/gen_hobbynet_alias >> $HNET_LIB/alias.sql
$HNET_BIN/gen_scouthout_alias >> $HNET_LIB/alias.sql
cat $HNET_LIB/alias_footer.tmpl >> $HNET_LIB/alias.sql
$CHMOD 644 $HNET_LIB/alias.sql
$CHOWN root:root $HNET_LIB/alias.sql
mysql -u postfixadmin -pvFSQiD7uRyaF -c postfixadmin <$HNET_LIB/alias.sql
mysqldump -u postfixadmin -pvFSQiD7uRyaF -c postfixadmin alias >$HNET_LIB/alias_saved.sql
#
echo "Building domain table for Hobbynet..."
cp $HNET_LIB/domain_header.tmpl $HNET_LIB/domain.sql
$HNET_BIN/gen_domain >> $HNET_LIB/domain.sql
$HNET_BIN/gen_hobbynet_domain >> $HNET_LIB/domain.sql
cat $HNET_LIB/domain_footer.tmpl >> $HNET_LIB/domain.sql
$CHMOD 644 $HNET_LIB/domain.sql
$CHOWN root:root $HNET_LIB/domain.sql
mysql -u postfixadmin -pvFSQiD7uRyaF postfixadmin <$HNET_LIB/domain.sql
mysqldump -u postfixadmin -pvFSQiD7uRyaF -c postfixadmin domain >$HNET_LIB/domain_saved.sql
#
echo "Building alias_domain table for Hobbynet..."
cp $HNET_LIB/alias_domain_header.tmpl $HNET_LIB/alias_domain.sql
$HNET_BIN/gen_alias_domain >> $HNET_LIB/alias_domain.sql
cat $HNET_LIB/alias_domain_footer.tmpl >> $HNET_LIB/alias_domain.sql
$CHMOD 644 $HNET_LIB/alias_domain.sql
$CHOWN root:root $HNET_LIB/alias_domain.sql
mysql -u postfixadmin -pvFSQiD7uRyaF postfixadmin <$HNET_LIB/alias_domain.sql
mysqldump -u postfixadmin -pvFSQiD7uRyaF -c postfixadmin alias_domain >$HNET_LIB/alias_domain_saved.sql
#
echo ""
echo "Building mailbox2 table for Kadernet..."
cp $HNET_LIB/mailbox2_header.tmpl $HNET_LIB/mailbox2.sql
$HNET_BIN/gen_mailbox2 | sort | uniq >> $HNET_LIB/mailbox2.sql
cat $HNET_LIB/mailbox2_footer.tmpl >> $HNET_LIB/mailbox2.sql
$CHMOD 644 $HNET_LIB/mailbox2.sql
$CHOWN root:root $HNET_LIB/mailbox2.sql
mysql -u postfixadmin -pvFSQiD7uRyaF postfixadmin <$HNET_LIB/mailbox2.sql
#
echo "Building alias2 table for Kadernet..."
cp $HNET_LIB/alias2_header.tmpl $HNET_LIB/alias2.sql
$HNET_BIN/gen_alias2 | sort | uniq >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_func_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_best_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_webm_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_kadernet_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_x_voorz_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_x_kernl_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_x_secr_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_x_penm_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_x_webm_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_x_bestl_alias >> $HNET_LIB/alias2.sql
$HNET_BIN/gen_fff_kadernet_alias >> $HNET_LIB/alias2.sql
cat $HNET_LIB/alias2_footer.tmpl >> $HNET_LIB/alias2.sql
$CHMOD 644 $HNET_LIB/alias2.sql
$CHOWN root:root $HNET_LIB/alias2.sql
mysql -u postfixadmin -pvFSQiD7uRyaF postfixadmin <$HNET_LIB/alias2.sql
#
echo "Building domain2 table for Kadernet..."
cp $HNET_LIB/domain2_header.tmpl $HNET_LIB/domain2.sql
$HNET_BIN/gen_domain2 >> $HNET_LIB/domain2.sql
cat $HNET_LIB/domain2_footer.tmpl >> $HNET_LIB/domain2.sql
$CHMOD 644 $HNET_LIB/domain2.sql
$CHOWN root:root $HNET_LIB/domain2.sql
mysql -u postfixadmin -pvFSQiD7uRyaF postfixadmin <$HNET_LIB/domain2.sql
#
echo "Building alias_domain2 table for Kadernet..."
cp $HNET_LIB/alias_domain2_header.tmpl $HNET_LIB/alias_domain2.sql
$HNET_BIN/gen_alias_domain2 >> $HNET_LIB/alias_domain2.sql
cat $HNET_LIB/alias_domain2_footer.tmpl >> $HNET_LIB/alias_domain2.sql
$CHMOD 644 $HNET_LIB/alias_domain2.sql
$CHOWN root:root $HNET_LIB/alias_domain2.sql
mysql -u postfixadmin -pvFSQiD7uRyaF postfixadmin <$HNET_LIB/alias_domain2.sql
#
echo ""
echo "Building systemusers for Roundcube..."
cp $HNET_LIB/systemusers.tmpl $HNET_LIB/systemusers
$HNET_BIN/gen_systemusers >> $HNET_LIB/systemusers
$CHMOD 644 $HNET_LIB/systemusers
$CHOWN root:root $HNET_LIB/systemusers
#

Mailboxen

Alle (virtuele) gebruikers waarvoor mail-dev eindstation is voor email, hebben een mailbox op dit systeem. De HCC!Hobbynet leden hebben allemaal een mailbox met Maildir structuur in /home/vmail/<domain>/<user>/Maildir. Ook de kaderleden hebben een mailbox in Maildir formaat.

gen_mailbox (en gen_mailbox2)

Deze scripts maken de mailbox informatie aan. Ook worden salted MD5 passwords gegenereerd aan de hand van de passwords in husers. Hiervoor wordt de perl module unix_md5_crypt gebruikt en een kleine subroutine om het salt te genereren. Bij elke run van gen_mailbox* worden deze strings anders maar ze blijven een match geven met het password. De mailbox naam is altijd <contact>@<systeem>.hobby.nl voor hobbynetleden en <lidnummer>@kader.hcc.nl voor kaderleden. Het domein voor kaderleden is dus altijd kader.hcc.nl, voor hobbynet leden altijd <systeem>.hobby.nl.
LET OP! Als er mailboxen zijn bijgemaakt via PostfixAdmin, zullen die verloren gaan bij een rebuild van de mailbox tabel! Stel de tabellen veilig door een export te doen of een backup als superadmin. Een script voor scouthout mailboxen is geplanned.

Aliases

Email die op mail-dev wordt afgeleverd om direct weer verder geleid te worden heeft geen mailbox nodig. Voorbeeld hiervan is scouhout.nl. Alle email adressen expanderen naar een of meer externe adressen. Mail-dev fungeert hiervoor dus als mailrelay. Mail aliases zijn ook nodig voor functionele email adressen van kadernet functies zoals voorzitter, secretaris, enz. Ook zijn er adressen nodig voor grotere groepen ten bate van het kantoor zodat ze alle penningmeesters tegelijk kunnen emailen. De alias tabel (en vooral de alias2 tabel) is vrij uitgebreid. Er zijn meerdere kleine scripts die de tabellen vullen. Zie upd_smail.

gen_alias (en gen_alias2)

Deze scripts genereren alle aliases die uit husers gemaakt kunnen worden. Voor de hobbynetleden wordt een alias gemaakt met de naam van de gebruiker in de alias tabel. Er komt dus een <contact>@<systeem>.hobby.nl die naar de mailbox <contact>@<systeem>.hobby.nl wijst. Voor de kadernetleden komen de aliases in alias2. Voor de kaderleden waar het domain kader.hobby.nl is, wordt dat vervangen door kader.hcc.nl. Er wordt een alias gemaakt die naar de mailbox wijst ( met het lidnummer uit husers) en één met de HCC naam uit het in husers opgenomen email adres deze komen in alias2 terecht. Er komt dus een 1234567@kader.hcc.nl en een a.b.c.janssen@kader.hcc.nl die weer beide naar de mailbox 1234567@kader.hcc.nl verwijzen. De alias tabel is zichtbaar in PostfixAdmin, alias2 niet. Door een MySQL constructie (gebruik van UNION ALL) zijn alias en alias2 als het ware één tabel voor de applicaties (Postfix en Dovecot). De alias tabel kan dus beheerd worden met PostfixAdmin, de alias2 tabel is er wel maar is onzichtbaar voor PostfixAdmin. Via phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk alle tabellen in de database postfixadmin benaderd worden.

gen_fff_hobbynet_alias

Dit script genereert de fff_hnet@hobby.nl alias door uit husers het emailadres te halen van leden met code 0,1,2,3 te halen.

gen_fff_www_alias

Dit script genereert de fff_www@hobby.nl alias door uit husers het emailadres te halen van dié leden die een website op een van de Hobbynet webservers hebben. Het is dus een subset van fff_hnet.

gen_hobbynet_alias

Dit script leest hobbynet_aliases.txt en genereert regels in de sql-loaderfile. He betreft aliases die niet eenvoudig af te leiden zijn uit husers maar wel te maken hebben met hobby.nl.

gen_scouthout_alias

Dit script leest scouthout_aliases.txt en genereert regels in de sql-loaderfile. He betreft aliases die te maken hebben met scouthout.nl. Er is tevens een scriptje dump_scouthout_aliases dat scouthout_aliases.txt kan genereren uit de alias tabel. Dit kan nuttig zijn als er updates via PostfixAdmin zijn gedaan door de scouthout admin. Als er voor andere domeinen ook aliases bijkomen, moeten daar ook dump-* scripts voor gemaakt worden. Ook de backup van de db voldoet natuurlijk maar tijdens testen kan er van alles misgaan...

gen_func_alias

Dit script genereert alle functionele aliases voor elke groepering in de tabel alias2. Het maakt aliases aan voor voorzitter@<groepering>.hcc.nl, secretaris@<groepering>.hcc.nl en penningmeester@<groepering>.hcc.nl. Tevens wordt info@<groepering>.hcc.nl gemaakt die ook naar secretaris@<groepering>.hcc.nl verwijst. Om aan backwards compatible te zijn is ook voorzien in aliases voor 'voorz', 'secr' en 'penm' die verwijzen naar de lange naam.

gen_best_alias

Dit script genereert de bestuur alias voor elke groepering. Dus per groepering de voorzitter, secretaris, penningmeester en bestuursleden met als alias bestuur@<groepering>.hcc.nl. De informatie wordt gehaald uit de b3a.txt file. Die file wordt uit de kadertab.csv gemaakt. Deze slag staat volledig los van deze scripts en wordt alleen gedraaid als er een nieuwe kadertab wordt aangeboden door het HCC kantoor. De groepering kantoor wordt overgeslagen. Er is geen bestuur@kantoor.hcc.nl...

gen_webm_alias

Voor de webmasters is een apart script gemaakt omdat er variabel aantal webmasters per groepering kan zijn. Bron bestand is weer b3a.txt. Dit script genereert de webmaster@<groepering>.hcc.nl alias die een variabel aantal target mailboxen kent. Ook wordt altijd de secretaris toegevoegd. In het geval dat er helemaal géén webmaster is aangemeld komt de mail dus tenminste in de mailbox van de secretaris. Bron bestand is natuurlijk weer b3a.txt.

gen_kadernet_alias

Dit script leest kadernet_aliases.txt en genereert de SQL regels voor speciale kadernet aliases die niet uit b3a gemaalt kunnen worden.

gen_x_<func>_alias

Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden als target hebben. Deze aliases worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is b3a.txt.

gen_fff_kadernet_alias

Dit script genereert de fff_kader@kader.hcc.nl en fff_bestuur@kader.hcc.nl aliases. Voor de eerste wordt husers gebruikt (code 5); de tweede is slechts een alias naar x_voorz, x_secr, x_penm, x_bestl. Beide aliases bevatten ook email adressen van mensen op kantoor in Haarlem. Deze zijn hardcoded in het script. In afwijking van de meeste andere scripts, bevat dit script de afsluitende regel eindigend op ';'. De alias2-footer.tmpl bevat in dit unieke geval dus geen afsluitende regel.

Domains en Alias-domains

Postfix kan op één server de email voor vele domeinen afhandelen. Om ongewenst relayeren (spam!) te voorkomen moeten de domeinen van de geadresseerden gecheckt worden. Ook bestaat er zoiets al alias-domains; een 2de domein kan 1 op 1 overlappen met een ander domein.

gen_domain en gen_domain2

Deze scripts genereren de hobbynet domeinen voor de domeinen in husers in de tabel domain; voor de kadernet domeinen wordt domain2 aangemaakt. Voor kadernet wordt kader.hobby.nl vervangen door kader.hcc.nl. Ook hier geldt weer dat de domain tabel beheerbaar is in PostfixAdmin en dat domain2 tabel niet zichtbaar is in PostfixAdmin maar door de UNION ALL constructie zien domain en domain2 eruit als één tabel voor de applicaties.

gen_hobbynet_domain

Het bronbestand voor gen_hobbynet_domain is dusers. Dit bestand is nog in ontwikkeling en moet allerlei gegevens van de beheerde domeinen gaan bevatten. Het bestand heeft een vergelijkbare status als husers. Het bronbestand is met de hand bij te houden maar daar het niet vaak veranderd (alleen bij wijzigingen in de gehoste domeinen) is dat goed te doen.

Het script gen_hobbynet_domain voegt records toe aan de domain tabel die betrekking hebben op de door HCC!Hobbynet beheerde domeinen. Dit zijn b.v. hccm.nl en hcc-watersport.nl maar weer NIET modelbaan-gg.hcc.nl. Die laatste wordt door gen_domain2 aangemaakt in de domain2 tabel.

Ook worden uit een platte tekst file de (met de hand beheerde) alias_domains toegevoegd. De layout van de tekst file is simpel: alias_domain, target_domain. Voorbeeld: 

# list of alias_domains
# mirror.tld,target.tld
#
hccm.nl,modelbaan-gg.hcc.nl
hcc-modelbaan.nl,modelbaan-gg.hcc.nl
hcc-games.nl,games-gg.hcc.nl
hcc-clan.nl,games-gg.hcc.nl

Opm: Het alias_domain modelbaan.hcc.nl wordt automatisch gegenereerd (door -gg/afd-/cg- weg te laten) en mag dus NIET in de platte tekst file staan.

Retrieved from "https://wiki.hobby.nl/index.php?title=Uitleg_scripts&oldid=3520"