Hobbynet Admin Wiki - User contributions [en]

LDAP

2022-06-07T09:48:29Z

Egbert: /* Locatie bestanden */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
Mogelijk ontbrekende pakketten:

apt-get install aptitude
apt-get install php-mbstring
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key
LET OP: Als apparmor geïnstalleerd is moet het pad naar de certificaten vrijgegeven worden. Als alternatief kan apparmor verwijderd worden.

Het volgende is niet nodig voor ldap. Mischien voor mysql-server???
- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

Nog meer Hobbynet aanpassingen Waarom???
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* /usr/local/hobbynet/etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* /usr/local/hobbynet/etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema
* /usr/local/hobbynet/etc/ldap/schema/ldapns.ldif gaat naar /etc/ldap/schema

Ldapns en ppolicy moeten eventueel van een oudere release bewaard blijven! Waarom ze weg in 22.04 zijn is onduidelijk. hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie de README en actuele scripts.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig. Er wordt zowel voor de cn=config als voor de dc=hcc,dc=nl een RootDN aangemaakt. Echter wordt er geen password gezet op de RootDN voor config.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
# date: vbs20220511 ppolicy not included to get
# of duplicate message
#
include: file:///etc/ldap/schema/hcc_schema.ldif
#include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49510 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37490 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49508 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37488 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2022-06-07T09:48:04Z

Egbert: /* Locatie bestanden */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
Mogelijk ontbrekende pakketten:

apt-get install aptitude
apt-get install php-mbstring
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key
LET OP: Als apparmor geïnstalleerd is moet het pad naar de certificaten vrijgegeven worden. Als alternatief kan apparmor verwijderd worden.

Het volgende is niet nodig voor ldap. Mischien voor mysql-server???
- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

Nog meer Hobbynet aanpassingen Waarom???
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* /usr/local/hobbynet/etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* /usr/local/hobbynet/etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema
* /usr/local/hobbynet/etc/ldap/schema/ldapns.ldif gaat naar /etc/ldap/schema

Ldapns en ppolicy moetn eventueel van een oudere release bewaard blijven! Waarom ze weg in 22.04 zijn is onduidelijk. hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie de README en actuele scripts.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig. Er wordt zowel voor de cn=config als voor de dc=hcc,dc=nl een RootDN aangemaakt. Echter wordt er geen password gezet op de RootDN voor config.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
# date: vbs20220511 ppolicy not included to get
# of duplicate message
#
include: file:///etc/ldap/schema/hcc_schema.ldif
#include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49510 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37490 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49508 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37488 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP scripting

2022-05-16T19:52:08Z

Egbert: /* Mailserver */

=Inleiding=
Omdat de ldap server in sneltreinvaart de bron voor allerlei services aan het worden is, ontstaat er ook een migratie van (veelal perl) scripts op scripting-int naar php scripts op ldap-lb1-int. ldap-lb1-int is net als scripting-int een server met verhoogde security. Er mag dus wel '''van''' deze server '''naar''' andere servers geconnect worden maar niet andersom. Dit is vergelijkbaar met de situatie op scripting-int. Deze mogelijkheid is essentieel voor de goede werking van sommige scripts.

==Type scripts==
Er zijn globaal een aantal soorten scripts te onderscheiden:
* De eigenlijke scripts die een bepaalde taak uitvoeren en vaak naar stdout schrijven (.php soms geen extensie).
* De cronjob scripts. Gewoonlijk herkenbaar aan de '''.sh''' extensie. Deze scripts bundelen vaak meerdere php scripts tot complete oplossingen.
* Scripts die voor initialiseren en backuppen van de ldap directory nodig zijn ('''init_ldap, dump_ldap en restore_ldap'''). Behalve dump_ldap mogen deze scripts nooit zomaar gedraaid worden; de ldap directory zou vernield worden.

==Overzicht scripts==
<pre>
0_DIT_IS_EEN_LOCAL_DIR gen_passwd_code2.php LDAP_include_telefoon.php sync_hccforums.php
check_ms gen_passwd_hcc.php LDAP_lid_weg.php sync_hobbynetbin_2.sh
cron_joomla.php gen_shadow_admin.php LDAP_maak_hccOptOutTokens.php sync_hobbynetdata_2.sh
cron_joomla.sh gen_shadow_code2.php _LDAP_schoon_4045431_op.php sync_hobbynetetc_2.sh
database-onderhoud.sh gen_shadow_hcc.php LDAP_schoon_database.php sync_hobbynetfw_2.sh
dump_ldap.sh gen_xml_fw_ip4.php LDAP_schoon_mysql_op.php sync_hobbynetlib_2.sh
enquete-specials gen_xml_fw_ip6.php LDAP_schoon_testleden_op.php tel_unieke_bezoekers-volgens-LDAP_en_SQL.php
forum-specials get_all_mailbox_sizes.sh LDAP_vul_leden.php tel_unieke_bezoekers-volgens-LDAP.php
gen_bezoekersstatistiek_xml.php get_ip4 LDAP_vul_profielbekend.php tel_unieke_bezoekers-volgens-LDAP.sh
gen_compusers_csv.php get_ip6 mailman-specials test.php
gen_dmarc_hcc.php getip-http mail_tripolis_export_report.sh tripolis_import
gen_fw.sh hccforums_db.php optouts unblock_joomla.php
gen_group_admin.php hcc.nl.mx.fallback other-specials unblock_joomla.sh
gen_group_code2.php huisgenoot_lidmaatschappen.php popbull-specials update_domeinen.php
gen_group_hcc.php huisgenoot_lidmaatschappen.sh postcode-specials update_domeinen.sh
gen_hobbyabon.php init_ldap_mdb.sh purge_hccforums.php update_hccforums.sh
gen_iplist_partners.php init_ldap.sh renameusers_joomla.php update_joomla.php
gen_iplist_partners.sh kader_maak_html.php renameusers_joomla.sh update_joomla.sh
gen_kader_csv.php kader_maak_lijsten.sh restore_ldap.sh upd_code2_accounts.sh
gen_kaderfunc.php kader_maak_txt.php rss_joomla.php upd_hcc_accounts.sh
gen_kaderlist.php kader_maak_xb_csv.php rss_joomla.sh upd_ldap_dev.sh
gen_ldap_bul_export.php LDAP_bepaal_startconditie.php ruim_lock_files_op.sh upd_ldap-test-dev.expect
gen_ldap_cor_export.php ldap.conf.ldif ruim_pdf_facturen_op.sh upd_ldap_test.sh
gen_ldap_hoofdbestuur_export.php LDAP_controleer_groeperingen.php ruimsmsverstuurdsmsop.sql upd_mailserver_report.sh
gen_ldap_kader_export.php LDAP_controleer_kader.php run_maand_rapport.sh upd_mailserver.sh
gen_ldap_ledenraad_export.php LDAP_controleer_users.php run_tripolis_export.sh upd_nameserver.sh
gen_ldap_niet_leden_export.php LDAP_copyright.txt schoon_alles_op_include.php upd_srv
gen_leden_csv.php LDAP_cronjob.sh schoon_alles_op.sh upg_vmware_tools
gen_leden_dubbel.log LDAP_forceer_CSV.sh schoon_breg_token_tabel_op.php upload_bezoekersstatistiek.sh
gen_leden_dubbel.php LDAP_ftps_lget_CRM_leden.sh schoon_forms_database_op.php upload_compusers_csv.sh
gen_maand_rap.php LDAP_herstel_profielbekend.php schoon_JoomlaTokens_tabel_op.php upload_kader_csv.sh
gen_mail_exclude_txt.php LDAP_include_henz.php schoon_LDAP_en_hcc_Bezoek_op.php upload_leden_csv.sh
gen_mx_hcc-fallback.php LDAP_include_ISO.php set_menu_joomla.sh vergelijk_scripts.readme
gen_mx_hcc.php LDAP_include_Joomla_db.php set_menu.php verrijk_factuur.php
gen_mx_hobby.php LDAP_include_mail.php statistiek_xml.php verrijk_factuur.sh
gen_passwd_admin.php LDAP_include.php statistiek_xml.sh
</pre>

==Crontab==
===Wijzigingen===
vbs20220516: Tripolis Import en rapportage uitgeschakeld.
<pre>
##############################################################################################################
# Wijzigingen graag ook aanbrengen op deze wiki pagina: https://wiki.hobby.nl/index.php?title=LDAP_scripting #
##############################################################################################################

# Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab(5) and cron(8)
#
# m h dom mon dow command

# Update rssfeeds joomla
1 */1 * * * /usr/local/hobbynet/bin/rss_joomla.sh >>/var/log/rss_joomla.log

# Synchroniseer firewall regels van ldap-lb1 naar ldap-lb2
55 5 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 11 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 17 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 23 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh

# Herstart Firewall
0 6 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 12 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 18 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 0 * * * /etc/init.d/hobby-firewall restart >/dev/null

# Check op updates en download deze alvast ivm Nagios detectie
0 6 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null
0 18 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null

# Maak een beveiligde backup
45 23 * * * /usr/local/hobbynet/local/backup-encrypted.bash >>/var/log/backup_encrypted.log

# Sync bin dir naar ldap-lb2
50 23 * * * /usr/local/hobbynet/bin/sync_hobbynetbin_2.sh
# Sync etc dir naar ldap-lb2
51 23 * * * /usr/local/hobbynet/bin/sync_hobbynetetc_2.sh
# Sync lib dir naar ldap-lb2
52 23 * * * /usr/local/hobbynet/bin/sync_hobbynetlib_2.sh

# Voer de cron_joomla.sh cronjob uit voor de bit backup
01 0 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Voer de cron_joomla.sh cronjob uit voor 'update_joomla.sh'
15 1 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Forceer dat er een verse set CSV bestanden klaar wordt gezet
05 3 * * * /usr/local/hobbynet/bin/LDAP_forceer_CSV.sh >/dev/null

# Doe alle processing CRM->LDAP
10 3 * * * /usr/local/hobbynet/bin/LDAP_cronjob.sh >>/var/log/LDAP_cronjob.log

# Maak /usr/local/hobbynet/apache2conf/iplists/iplist-partners-24 aan
7 3 * * * /usr/local/hobbynet/bin/gen_iplist_partners.sh

# Ververs postfixadmin op mail-lb1 en mail-lb2. Mail report
26 3 * * * /usr/local/hobbynet/bin/upd_mailserver.sh >/var/log/upd_mailserver.log
30 3 * * * /usr/local/hobbynet/bin/upd_mailserver_report.sh

# Haal de opt-outs op van Tripolis
### disabled 20220516
###15 3 * * * /usr/local/hobbynet/bin/run_tripolis_import.sh >/var/log/run_tripolis_import.log

# Haal de handmatige Tripolis opt-outs op, en mail die naar Egbert
### disabled 20220516
###31 3 * * * /usr/local/hobbynet/bin/mail_tripolis_import_report.sh

# Maak en plaats de ledenlijst voor Kantoor
35 3 * * * /usr/local/hobbynet/bin/upload_leden_csv.sh >/dev/null

# Maak en plaats de kaderlijst voor Kantoor
40 3 * * * /usr/local/hobbynet/bin/upload_kader_csv.sh >/dev/null

# Deblokkeer actieve joomla gebruikers
45 3 * * * /usr/local/hobbynet/bin/unblock_joomla.sh >>/var/log/unblock_joomla.log

# Haal de aantallen bezoekers, en zet die over naar de beschermde kantoor omgeving
47 3 * * * /usr/local/hobbynet/bin/upload_bezoekersstatistiek.sh >/dev/null

# Maak overzicht van alle opt-ins voor Tripolis
50 3 * * * /usr/local/hobbynet/bin/run_tripolis_export.sh >/var/log/run_tripolis_export.log

# Hernoem in Joomla de users die zijn hernoemd in ldap
50 3 * * * /usr/local/hobbynet/bin/renameusers_joomla.sh >>/var/log/renameusers_joomla.log

# Haal het resultaat van de Tripolis export op, en mail die naar Egbert
52 3 * * * /usr/local/hobbynet/bin/mail_tripolis_export_report.sh

# Maak en plaats statistiek overzicht van alle HCC groeperingen
55 3 * * * /usr/local/hobbynet/bin/statistiek_xml.sh >/dev/null

# Start joomla onderhoud
0 4 * * * /usr/local/hobbynet/bin/update_joomla.sh >>/var/log/update_joomla.log

# Doe de Hobbynet maand rapportage
0 4 1 * * /usr/local/hobbynet/bin/run_maand_rapport.sh >/dev/null

# Bepaal het aantal unieke (en totaal aantal) bezoekers van de laatste 12 maanden, mail dat aan VB
5 4 1 * * /usr/local/hobbynet/bin/tel_unieke_bezoekers-volgens-LDAP.sh >/dev/null

# Maak een lijst van onjuiste huisgenoot-lidmaatschappen
10 4 1 * * /usr/local/hobbynet/bin/huisgenoot_lidmaatschappen.sh >/dev/null

# Schoon mySQL en LDAP op
5 4 2 * * /usr/local/hobbynet/bin/schoon_alles_op.sh

# Verrijk een naar SFTP geupload factuur bestand met factuurtokens
15 * * * * /bin/bash /usr/local/hobbynet/bin/verrijk_factuur.sh >>/var/log/verrijk_factuur.log

# ruim sms database op
42 12 * * * cat /usr/local/hobbynet/bin/ruimsmsverstuurdsmsop.sql |mysql >/dev/null

# corigeer menu elke 4 uur
#42 */4 * * * /usr/local/hobbynet/bin/set_menu_joomla.sh >>/var/log/set_menu_joomla.log

</pre>

=Toepassingen=
Soms zijn er een aantal scripts die bij elkaar horen en er voor een bepaalde toepassing zijn, zoals om de mailserver te updaten, dagelijkse bestanden voor Kantoor te maken, dagelijkse bestanden voor het Tripolis mail systeem en niet geheel onbelangrijk, scripts die ldap dagelijks bijwerken met de '''master''' data die in het HCC CRM wordt bijgehouden (als er een mutatie gemist is, b.v. omdat een JSON aanroep vanuit het CRM naar de Hobbynet XML-RPC server overdag mislukt is).

==LDAP==
Drie scripts zijn essentieel om de hele LDAP database te dumpen, te initialiseren en weer te vullen. Dit proces is nodig als een schema change moet worden aangebracht in de LDAP configuratie. Zie ook de pagina over de LDAP server.
* '''dump_ldap.sh''' Dumpt alle ou's in afzonderlijke ldif bestanden in de data directory en maakt er ook een tarball van.
* '''init_ldap.sh <beheer-password>''' Bouwt de hele LDAP structuur van de grond af op.
* '''restore_ldap.sh''' Vult de hele LDAP structuur met file uit de dump_ldap stap.

==Statistieken==
Iedere nacht worden er door het script '''statistiek_xml.sh''' van alle groeperingen en van de complete HCC leden database statistieken in XML formaat gemaakt. Daarna worden deze statistieken met het script '''statistiek_xml.sh''' naar de kadernet server overgezet.

==Mailserver==
De mailserver kreeg tot voor kort 2 bestanden van scripting-int, husers en b3a.txt. De inhoud van beide bestanden kan ook uit ldap gehaald worden. Hiervoor zijn de volgende scripts in gebruik:
* '''gen_hobbyabon.php'''. Dit script maakt een equivalent aan van husers en bevat alleen de betalende Hobbynet abonnees (enige tientallen regels).
* '''gen_kaderfunc.php'''. Dit script is de vervanger van b3a.txt, de lijst van alle kaderfuncties (ongeveer 1200).
* '''gen_kaderlist.php'''. Een hulp bestand met alleen de 7 cijferige lidnummers van alle kaderleden (ruim 700). Deze lijst wordt op de mailserver gebruikt om incidenteel kadermailboxen op te ruimen.
* '''gen_mail_exclude_txt.php'''. Nog een hulp bestand waar in de interessegroepen staan die geen functionele mailadressen nodig hebben. Dit zijn vooral de ig's die geen echte ig zijn zoals de HCC zelf en de RvA en RvT maar wel als zodanig in ldap staan. Ook de cursus presentatoren vallen hieronder.
* '''upd_mailserver_report.sh'''. Dit script mailt de dagelijkse logs ter controle of alles goed is gegaan.
* '''upd_mailserver.sh'''. Bundelt de php scripts tot een cronjob die elke nacht loopt. Dit script draait de 4 php scripts, doet wat na bewerking, kopieert de output naar mail-lb1-int en start '''upd_mailserver_all''' op mail-lb1-int. Tenslotte worden nog de relay-domains opgehaald van mail-lb1-int (dat bestand is pas up-to-date nadat upd_mailserver_all op mail-lb1-int heeft gelopen).Hierna is mail-lb2 nog niet geheel up-to-date. Het script dat door ldap-lb1 is gestart, doet aan het eind een rsync van de datadir op mail-lb1 naar mail-lb2. Tenslotte start mail-lb1 een script op mail-lb2 om die ook up-to-date te maken. Dit is dus een drietraps systeem.

==Maandrapportage==
* '''gen_maand_rap.php'''. Verzamelt alle data van Hobbynet abonnees en alle andere users in ldap. Optie '''-m''' mailt naar de accounthouder in het ldap record. Sinds medio 2020 krijgen hcc groepering webmasters deze mail niet meer, omdat ze nu allemaal gebruik maken van een Joomla template site, en daar geen 'eigenaar' meer van zijn.
* '''run_maand_rapport.sh'''. Cronjob die bovenstaande scripts 1x per maand draait.

==Passwd, shadow en group==
<strike>
* gen_group_admin.php
* gen_group_code2.php
* gen_group_hcc.php
* gen_passwd_admin.php
* gen_passwd_code2.php
* gen_passwd_hcc.php
* gen_shadow_admin.php
* gen_shadow_code2.php
* gen_shadow_hcc.php
* upd_admin_accounts.sh (is er niet)
* upd_code2_accounts.sh
* upd_hcc_accounts.sh

Deze scripts genereren de passwd, shadow en group entries voor de betalende leden (_code2), de admins (_admin, de lagere goden, op het moment niet gebruikt; er is wel een .hobby met alleen Roel v.d. Bussche erin) en voor de HCC groeperingen (_hcc). De output wordt op de shared etc omgeving neergezet zodat elke (web)server ze kan toevoegen aan de passwd.temp/shadow.temp/group.temp files. Hiervoor wordt de lokale job upd_usr (of upd_hobby_only) gedraaid.
</strike>

==HCC Verenigingsbureau==
Het HCC Verenigingsbureau ('VB') heeft beschikking over een ledenlijst en een kader/kernledenlijst die dagelijks up-to-date zijn. Deze lijsten zijn in CSV formaat zodat men zelf in de hand heeft hoe het bestand gebruikt wordt. Ze worden dagelijks op de Hobbynet sftp server (dedicated server t.b.v. gebuik vanaf het VB) geplaatst.

Daarnaast krijgt VB iedere dag een actueel overzicht van de aantallen bezoekers (bezoekers statistiek).

* '''upload_kader_csv.sh''' de cronjob
* '''gen_kader_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_leden_csv.sh''' de cronjob
* '''gen_leden_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_bezoekersstatistiek.sh''' de cronjob
* '''gen_bezoekersstatistiek_csv.php''' het php script dat een bestand in CSV formaat maakt met de bezoekersstatistieken.

==CompUsers==
2020: VB heeft 'eigen' afspraken met CU gemaakt, en stuurt ze op eigen houtje zomaar ledenbestanden toe. Onze scripts zijn daarmee zinloos geworden.

<strike>Met CompUsers zijn speciale afspraken gemaakt door Kantoor in januari 2014. Zij krijgen een sterk verkorte lijst van ALLE leden voor hun administratie. Het streven is dit zo spoedig mogelijk te vervangen door een ander mechanisme zoals de partner check.

* '''upload_compusers_csv.sh''' de cronjob
* '''gen_compusers_csv.php''' het script dat een CSV maakt. Dit is een afgeslankt vorm van het '''gen_leden_csv.php''' script.</strike>

=Koppeling met Tripolis=
Het oude "popbull" systeem dat bij HenZ draait is in de zomer van 2013 vervangen door Tripolis. Tripolis wordt al jaren gebruikt door kantoor voor het versturen van Digizine en de Nieuwsflash. Per groepering wordt een account aangemaakt met beperkte rechten waar mee de Correspondent van de groepering mailings kan versturen. Om Tripolis en ldap in sync te houden wordt er elke nacht data uitgewisseld. Ldap is leidend in deze maar als mensen zich uitschrijven (opt-out) via de knop onder aan de mailing, moet dat doorgegeven worden aan ldap.

==Sync van Tripolis naar ldap (uitgeschakeld vbs20220516)==
* '''run_tripolis_import.sh''' de eigenlijke cronjob
* '''import_tripolis_csv.php''' vertaalt de CSV van opt-outs naar het wissen van de individuele optins.

Tripolis plaatst elke nacht om 00:01 een CSV bestand met de opt-outs per bulletin van de vorige dag. Dit gebeurt met datums. Als de datum van gisteren ingevuld staat is daar een optout geweest. Als er geen opt-outs zijn, bevat het veld slechts een lege string. Het bestand wordt naar de ldap server gehaald waar een aantal versies bewaard worden. De bestanden wordt verwijderd van de sftp omgeving. Vervolgens worden het gedownloade bestand verwerkt om bij het lid de hccOptIn van dit bulletin te verwijderen.

==Sync van ldap naar Tripolis==
* '''run_tripolis_export.sh''' de eigenlijk cronjob
* '''gen_ldap_bul_export.php''' maakt een volledige lijst aan van emailadres, lidnr en optins. Dit bestand gaat naar de sftp omgeving van Tripolis.
* '''gen_ldap_cor_export.php''' maakt een lijst van alle correspondenten voor kantoor. Dit bestand gaat naar de sftp omgeving van Kantoor.

Het export bestand wordt elke nacht (om 02:50) op de sftp omgeving voor Tripolis klaargezet. Tripolis haalt het om 05:00 op. Omdat de opt-outs van Tripolis om 02:15 verwerkt worden, is dit bestand dus al bijgewerkt voor wat betreft die opt-outs. Alle andere wijzigingen komen van de hcc.nl profielpagina's of mutaties door derden op ldap (mutaties door Hobbynet staff of PC30).

==Rapportage==
<strike>Om ook de ledenadministratie in te lichten over leden die een optout op één of meer Tripolis mailings hebben gedaan, wordt na het verwerken van de optouts een mail gestuurd naar ledenadministratie@hcc.nl. Elke dag is er een nieuwe log file maar die wordt door dezelfde cronjob aan een archive geplakt. Zie mail_tripolis_reports.sh.</strike>

Egbert laat zich iedere nacht een rapportage mail sturen, zie mail_tripolis_export_report.sh.

==Eénmalige jobs==
Er zijn een aantal php scripts voor éénmalig gebruik gemaakt. Deze worden niet in de cronjobs gebruikt maar waren slechts bedoeld om de lijsten opgeleverd door VB in LDAP te krijgen. Deze scripts zijn in de subdirectory '''popbull-specials''' geplaatst.
* '''import_digizine_csv.php''' de initiële Digizine lijst
* '''import_nieuwsflash_csv.php''' de initiële Nieuwsflash lijst
* '''import_popbull_csv.php''' de initiële lijst zoals die van HenZ (popbull provider) komt

=ISIZ enquête=
Op verzoek geschreven scripts voor eenmalig gebruik. Terug te vinden in in de '''enquete-specials''' subdirectory.
* '''gen_enquete_csv.php''' enquête per email
* '''gen_enquete_csv_no_mail.php''' enquête per post

=Nameserver=
* gen_mx_hcc.php
* gen_mx_hobby.php
* upd_nameserver.sh

=Firewall (op ldap servers)=
* gen_xml_fw_ip4.php
* gen_xml_fw_ip6.php
* sync_hobbynetfw.sh
* gen_fw.sh

LDAP scripting

2022-05-16T19:44:15Z

Egbert: /* Sync van Tripolis naar ldap */

=Inleiding=
Omdat de ldap server in sneltreinvaart de bron voor allerlei services aan het worden is, ontstaat er ook een migratie van (veelal perl) scripts op scripting-int naar php scripts op ldap-lb1-int. ldap-lb1-int is net als scripting-int een server met verhoogde security. Er mag dus wel '''van''' deze server '''naar''' andere servers geconnect worden maar niet andersom. Dit is vergelijkbaar met de situatie op scripting-int. Deze mogelijkheid is essentieel voor de goede werking van sommige scripts.

==Type scripts==
Er zijn globaal een aantal soorten scripts te onderscheiden:
* De eigenlijke scripts die een bepaalde taak uitvoeren en vaak naar stdout schrijven (.php soms geen extensie).
* De cronjob scripts. Gewoonlijk herkenbaar aan de '''.sh''' extensie. Deze scripts bundelen vaak meerdere php scripts tot complete oplossingen.
* Scripts die voor initialiseren en backuppen van de ldap directory nodig zijn ('''init_ldap, dump_ldap en restore_ldap'''). Behalve dump_ldap mogen deze scripts nooit zomaar gedraaid worden; de ldap directory zou vernield worden.

==Overzicht scripts==
<pre>
0_DIT_IS_EEN_LOCAL_DIR gen_passwd_code2.php LDAP_include_telefoon.php sync_hccforums.php
check_ms gen_passwd_hcc.php LDAP_lid_weg.php sync_hobbynetbin_2.sh
cron_joomla.php gen_shadow_admin.php LDAP_maak_hccOptOutTokens.php sync_hobbynetdata_2.sh
cron_joomla.sh gen_shadow_code2.php _LDAP_schoon_4045431_op.php sync_hobbynetetc_2.sh
database-onderhoud.sh gen_shadow_hcc.php LDAP_schoon_database.php sync_hobbynetfw_2.sh
dump_ldap.sh gen_xml_fw_ip4.php LDAP_schoon_mysql_op.php sync_hobbynetlib_2.sh
enquete-specials gen_xml_fw_ip6.php LDAP_schoon_testleden_op.php tel_unieke_bezoekers-volgens-LDAP_en_SQL.php
forum-specials get_all_mailbox_sizes.sh LDAP_vul_leden.php tel_unieke_bezoekers-volgens-LDAP.php
gen_bezoekersstatistiek_xml.php get_ip4 LDAP_vul_profielbekend.php tel_unieke_bezoekers-volgens-LDAP.sh
gen_compusers_csv.php get_ip6 mailman-specials test.php
gen_dmarc_hcc.php getip-http mail_tripolis_export_report.sh tripolis_import
gen_fw.sh hccforums_db.php optouts unblock_joomla.php
gen_group_admin.php hcc.nl.mx.fallback other-specials unblock_joomla.sh
gen_group_code2.php huisgenoot_lidmaatschappen.php popbull-specials update_domeinen.php
gen_group_hcc.php huisgenoot_lidmaatschappen.sh postcode-specials update_domeinen.sh
gen_hobbyabon.php init_ldap_mdb.sh purge_hccforums.php update_hccforums.sh
gen_iplist_partners.php init_ldap.sh renameusers_joomla.php update_joomla.php
gen_iplist_partners.sh kader_maak_html.php renameusers_joomla.sh update_joomla.sh
gen_kader_csv.php kader_maak_lijsten.sh restore_ldap.sh upd_code2_accounts.sh
gen_kaderfunc.php kader_maak_txt.php rss_joomla.php upd_hcc_accounts.sh
gen_kaderlist.php kader_maak_xb_csv.php rss_joomla.sh upd_ldap_dev.sh
gen_ldap_bul_export.php LDAP_bepaal_startconditie.php ruim_lock_files_op.sh upd_ldap-test-dev.expect
gen_ldap_cor_export.php ldap.conf.ldif ruim_pdf_facturen_op.sh upd_ldap_test.sh
gen_ldap_hoofdbestuur_export.php LDAP_controleer_groeperingen.php ruimsmsverstuurdsmsop.sql upd_mailserver_report.sh
gen_ldap_kader_export.php LDAP_controleer_kader.php run_maand_rapport.sh upd_mailserver.sh
gen_ldap_ledenraad_export.php LDAP_controleer_users.php run_tripolis_export.sh upd_nameserver.sh
gen_ldap_niet_leden_export.php LDAP_copyright.txt schoon_alles_op_include.php upd_srv
gen_leden_csv.php LDAP_cronjob.sh schoon_alles_op.sh upg_vmware_tools
gen_leden_dubbel.log LDAP_forceer_CSV.sh schoon_breg_token_tabel_op.php upload_bezoekersstatistiek.sh
gen_leden_dubbel.php LDAP_ftps_lget_CRM_leden.sh schoon_forms_database_op.php upload_compusers_csv.sh
gen_maand_rap.php LDAP_herstel_profielbekend.php schoon_JoomlaTokens_tabel_op.php upload_kader_csv.sh
gen_mail_exclude_txt.php LDAP_include_henz.php schoon_LDAP_en_hcc_Bezoek_op.php upload_leden_csv.sh
gen_mx_hcc-fallback.php LDAP_include_ISO.php set_menu_joomla.sh vergelijk_scripts.readme
gen_mx_hcc.php LDAP_include_Joomla_db.php set_menu.php verrijk_factuur.php
gen_mx_hobby.php LDAP_include_mail.php statistiek_xml.php verrijk_factuur.sh
gen_passwd_admin.php LDAP_include.php statistiek_xml.sh
</pre>

==Crontab==
===Wijzigingen===
vbs20220516: Tripolis Import en rapportage uitgeschakeld.
<pre>
##############################################################################################################
# Wijzigingen graag ook aanbrengen op deze wiki pagina: https://wiki.hobby.nl/index.php?title=LDAP_scripting #
##############################################################################################################

# Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab(5) and cron(8)
#
# m h dom mon dow command

# Update rssfeeds joomla
1 */1 * * * /usr/local/hobbynet/bin/rss_joomla.sh >>/var/log/rss_joomla.log

# Synchroniseer firewall regels van ldap-lb1 naar ldap-lb2
55 5 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 11 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 17 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 23 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh

# Herstart Firewall
0 6 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 12 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 18 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 0 * * * /etc/init.d/hobby-firewall restart >/dev/null

# Check op updates en download deze alvast ivm Nagios detectie
0 6 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null
0 18 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null

# Maak een beveiligde backup
45 23 * * * /usr/local/hobbynet/local/backup-encrypted.bash >>/var/log/backup_encrypted.log

# Sync bin dir naar ldap-lb2
50 23 * * * /usr/local/hobbynet/bin/sync_hobbynetbin_2.sh
# Sync etc dir naar ldap-lb2
51 23 * * * /usr/local/hobbynet/bin/sync_hobbynetetc_2.sh
# Sync lib dir naar ldap-lb2
52 23 * * * /usr/local/hobbynet/bin/sync_hobbynetlib_2.sh

# Voer de cron_joomla.sh cronjob uit voor de bit backup
01 0 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Voer de cron_joomla.sh cronjob uit voor 'update_joomla.sh'
15 1 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Forceer dat er een verse set CSV bestanden klaar wordt gezet
05 3 * * * /usr/local/hobbynet/bin/LDAP_forceer_CSV.sh >/dev/null

# Doe alle processing CRM->LDAP
10 3 * * * /usr/local/hobbynet/bin/LDAP_cronjob.sh >>/var/log/LDAP_cronjob.log

# Maak /usr/local/hobbynet/apache2conf/iplists/iplist-partners-24 aan
7 3 * * * /usr/local/hobbynet/bin/gen_iplist_partners.sh

# Ververs postfixadmin op mail-lb1 en mail-lb2. Mail report
26 3 * * * /usr/local/hobbynet/bin/upd_mailserver.sh >/var/log/upd_mailserver.log
30 3 * * * /usr/local/hobbynet/bin/upd_mailserver_report.sh

# Haal de opt-outs op van Tripolis
### disabled 20220516
###15 3 * * * /usr/local/hobbynet/bin/run_tripolis_import.sh >/var/log/run_tripolis_import.log

# Haal de handmatige Tripolis opt-outs op, en mail die naar Egbert
### disabled 20220516
###31 3 * * * /usr/local/hobbynet/bin/mail_tripolis_import_report.sh

# Maak en plaats de ledenlijst voor Kantoor
35 3 * * * /usr/local/hobbynet/bin/upload_leden_csv.sh >/dev/null

# Maak en plaats de kaderlijst voor Kantoor
40 3 * * * /usr/local/hobbynet/bin/upload_kader_csv.sh >/dev/null

# Deblokkeer actieve joomla gebruikers
45 3 * * * /usr/local/hobbynet/bin/unblock_joomla.sh >>/var/log/unblock_joomla.log

# Haal de aantallen bezoekers, en zet die over naar de beschermde kantoor omgeving
47 3 * * * /usr/local/hobbynet/bin/upload_bezoekersstatistiek.sh >/dev/null

# Maak overzicht van alle opt-ins voor Tripolis
50 3 * * * /usr/local/hobbynet/bin/run_tripolis_export.sh >/var/log/run_tripolis_export.log

# Hernoem in Joomla de users die zijn hernoemd in ldap
50 3 * * * /usr/local/hobbynet/bin/renameusers_joomla.sh >>/var/log/renameusers_joomla.log

# Haal het resultaat van de Tripolis export op, en mail die naar Egbert
52 3 * * * /usr/local/hobbynet/bin/mail_tripolis_export_report.sh

# Maak en plaats statistiek overzicht van alle HCC groeperingen
55 3 * * * /usr/local/hobbynet/bin/statistiek_xml.sh >/dev/null

# Start joomla onderhoud
0 4 * * * /usr/local/hobbynet/bin/update_joomla.sh >>/var/log/update_joomla.log

# Doe de Hobbynet maand rapportage
0 4 1 * * /usr/local/hobbynet/bin/run_maand_rapport.sh >/dev/null

# Bepaal het aantal unieke (en totaal aantal) bezoekers van de laatste 12 maanden, mail dat aan VB
5 4 1 * * /usr/local/hobbynet/bin/tel_unieke_bezoekers-volgens-LDAP.sh >/dev/null

# Maak een lijst van onjuiste huisgenoot-lidmaatschappen
10 4 1 * * /usr/local/hobbynet/bin/huisgenoot_lidmaatschappen.sh >/dev/null

# Schoon mySQL en LDAP op
5 4 2 * * /usr/local/hobbynet/bin/schoon_alles_op.sh

# Verrijk een naar SFTP geupload factuur bestand met factuurtokens
15 * * * * /bin/bash /usr/local/hobbynet/bin/verrijk_factuur.sh >>/var/log/verrijk_factuur.log

# ruim sms database op
42 12 * * * cat /usr/local/hobbynet/bin/ruimsmsverstuurdsmsop.sql |mysql >/dev/null

# corigeer menu elke 4 uur
#42 */4 * * * /usr/local/hobbynet/bin/set_menu_joomla.sh >>/var/log/set_menu_joomla.log

</pre>

=Toepassingen=
Soms zijn er een aantal scripts die bij elkaar horen en er voor een bepaalde toepassing zijn, zoals om de mailserver te updaten, dagelijkse bestanden voor Kantoor te maken, dagelijkse bestanden voor het Tripolis mail systeem en niet geheel onbelangrijk, scripts die ldap dagelijks bijwerken met de '''master''' data die in het HCC CRM wordt bijgehouden (als er een mutatie gemist is, b.v. omdat een JSON aanroep vanuit het CRM naar de Hobbynet XML-RPC server overdag mislukt is).

==LDAP==
Drie scripts zijn essentieel om de hele LDAP database te dumpen, te initialiseren en weer te vullen. Dit proces is nodig als een schema change moet worden aangebracht in de LDAP configuratie. Zie ook de pagina over de LDAP server.
* '''dump_ldap.sh''' Dumpt alle ou's in afzonderlijke ldif bestanden in de data directory en maakt er ook een tarball van.
* '''init_ldap.sh <beheer-password>''' Bouwt de hele LDAP structuur van de grond af op.
* '''restore_ldap.sh''' Vult de hele LDAP structuur met file uit de dump_ldap stap.

==Statistieken==
Iedere nacht worden er door het script '''statistiek_xml.sh''' van alle groeperingen en van de complete HCC leden database statistieken in XML formaat gemaakt. Daarna worden deze statistieken met het script '''statistiek_xml.sh''' naar de kadernet server overgezet.

==Mailserver==
<strike>De mailserver kreeg tot voor kort 2 bestanden van scripting-int, husers en b3a.txt. De inhoud van beide bestanden kan ook uit ldap gehaald worden. Hiervoor zijn de volgende scripts in gebruik:</strike>
* <strike>'''gen_hobbyabon.php'''. Dit script maakt een equivalent aan van husers en bevat alleen de betalende Hobbynet abonnees (enige tientallen regels).</strike>
* <strike>'''gen_kaderfunc.php'''. Dit script is de vervanger van b3a.txt, de lijst van alle kaderfuncties (ongeveer 1200).</strike>
* <strike>'''gen_kaderlist.php'''. Een hulp bestand met alleen de 7 cijferige lidnummers van alle kaderleden (ruim 700). Deze lijst wordt op de mailserver gebruikt om incidenteel kadermailboxen op te ruimen.</strike>
* <strike>'''gen_mail_exclude_txt.php'''. Nog een hulp bestand waar in de interessegroepen staan die geen functionele mailadressen nodig hebben. Dit zijn vooral de ig's die geen echte ig zijn zoals de HCC zelf en de RvA en RvT maar wel als zodanig in ldap staan. Ook de cursus presentatoren vallen hieronder.</strike>
* '''upd_mailserver_report.sh'''. Dit script mailt de dagelijkse logs ter controle of alles goed is gegaan.
* '''upd_mailserver.sh'''. Bundelt de php scripts tot een cronjob die elke nacht loopt. Dit script draait de 4 php scripts, doet wat na bewerking, kopieert de output naar mail-lb1-int en start '''upd_mailserver_all''' op mail-lb1-int. Tenslotte worden nog de relay-domains opgehaald van mail-lb1-int (dat bestand is pas up-to-date nadat upd_mailserver_all op mail-lb1-int heeft gelopen).Hierna is mail-lb2 nog niet geheel up-to-date. Het script dat door ldap-lb1 is gestart, doet aan het eind een rsync van de datadir op mail-lb1 naar mail-lb2. Tenslotte start mail-lb1 een script op mail-lb2 om die ook up-to-date te maken. Dit is dus een drietraps systeem.

==Maandrapportage==
* '''gen_maand_rap.php'''. Verzamelt alle data van Hobbynet abonnees en alle andere users in ldap. Optie '''-m''' mailt naar de accounthouder in het ldap record. Sinds medio 2020 krijgen hcc groepering webmasters deze mail niet meer, omdat ze nu allemaal gebruik maken van een Joomla template site, en daar geen 'eigenaar' meer van zijn.
* '''run_maand_rapport.sh'''. Cronjob die bovenstaande scripts 1x per maand draait.

==Passwd, shadow en group==
<strike>
* gen_group_admin.php
* gen_group_code2.php
* gen_group_hcc.php
* gen_passwd_admin.php
* gen_passwd_code2.php
* gen_passwd_hcc.php
* gen_shadow_admin.php
* gen_shadow_code2.php
* gen_shadow_hcc.php
* upd_admin_accounts.sh (is er niet)
* upd_code2_accounts.sh
* upd_hcc_accounts.sh

Deze scripts genereren de passwd, shadow en group entries voor de betalende leden (_code2), de admins (_admin, de lagere goden, op het moment niet gebruikt; er is wel een .hobby met alleen Roel v.d. Bussche erin) en voor de HCC groeperingen (_hcc). De output wordt op de shared etc omgeving neergezet zodat elke (web)server ze kan toevoegen aan de passwd.temp/shadow.temp/group.temp files. Hiervoor wordt de lokale job upd_usr (of upd_hobby_only) gedraaid.
</strike>

==HCC Verenigingsbureau==
Het HCC Verenigingsbureau ('VB') heeft beschikking over een ledenlijst en een kader/kernledenlijst die dagelijks up-to-date zijn. Deze lijsten zijn in CSV formaat zodat men zelf in de hand heeft hoe het bestand gebruikt wordt. Ze worden dagelijks op de Hobbynet sftp server (dedicated server t.b.v. gebuik vanaf het VB) geplaatst.

Daarnaast krijgt VB iedere dag een actueel overzicht van de aantallen bezoekers (bezoekers statistiek).

* '''upload_kader_csv.sh''' de cronjob
* '''gen_kader_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_leden_csv.sh''' de cronjob
* '''gen_leden_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_bezoekersstatistiek.sh''' de cronjob
* '''gen_bezoekersstatistiek_csv.php''' het php script dat een bestand in CSV formaat maakt met de bezoekersstatistieken.

==CompUsers==
2020: VB heeft 'eigen' afspraken met CU gemaakt, en stuurt ze op eigen houtje zomaar ledenbestanden toe. Onze scripts zijn daarmee zinloos geworden.

<strike>Met CompUsers zijn speciale afspraken gemaakt door Kantoor in januari 2014. Zij krijgen een sterk verkorte lijst van ALLE leden voor hun administratie. Het streven is dit zo spoedig mogelijk te vervangen door een ander mechanisme zoals de partner check.

* '''upload_compusers_csv.sh''' de cronjob
* '''gen_compusers_csv.php''' het script dat een CSV maakt. Dit is een afgeslankt vorm van het '''gen_leden_csv.php''' script.</strike>

=Koppeling met Tripolis=
Het oude "popbull" systeem dat bij HenZ draait is in de zomer van 2013 vervangen door Tripolis. Tripolis wordt al jaren gebruikt door kantoor voor het versturen van Digizine en de Nieuwsflash. Per groepering wordt een account aangemaakt met beperkte rechten waar mee de Correspondent van de groepering mailings kan versturen. Om Tripolis en ldap in sync te houden wordt er elke nacht data uitgewisseld. Ldap is leidend in deze maar als mensen zich uitschrijven (opt-out) via de knop onder aan de mailing, moet dat doorgegeven worden aan ldap.

==Sync van Tripolis naar ldap (uitgeschakeld vbs20220516)==
* '''run_tripolis_import.sh''' de eigenlijke cronjob
* '''import_tripolis_csv.php''' vertaalt de CSV van opt-outs naar het wissen van de individuele optins.

Tripolis plaatst elke nacht om 00:01 een CSV bestand met de opt-outs per bulletin van de vorige dag. Dit gebeurt met datums. Als de datum van gisteren ingevuld staat is daar een optout geweest. Als er geen opt-outs zijn, bevat het veld slechts een lege string. Het bestand wordt naar de ldap server gehaald waar een aantal versies bewaard worden. De bestanden wordt verwijderd van de sftp omgeving. Vervolgens worden het gedownloade bestand verwerkt om bij het lid de hccOptIn van dit bulletin te verwijderen.

==Sync van ldap naar Tripolis==
* '''run_tripolis_export.sh''' de eigenlijk cronjob
* '''gen_ldap_bul_export.php''' maakt een volledige lijst aan van emailadres, lidnr en optins. Dit bestand gaat naar de sftp omgeving van Tripolis.
* '''gen_ldap_cor_export.php''' maakt een lijst van alle correspondenten voor kantoor. Dit bestand gaat naar de sftp omgeving van Kantoor.

Het export bestand wordt elke nacht (om 02:50) op de sftp omgeving voor Tripolis klaargezet. Tripolis haalt het om 05:00 op. Omdat de opt-outs van Tripolis om 02:15 verwerkt worden, is dit bestand dus al bijgewerkt voor wat betreft die opt-outs. Alle andere wijzigingen komen van de hcc.nl profielpagina's of mutaties door derden op ldap (mutaties door Hobbynet staff of PC30).

==Rapportage==
<strike>Om ook de ledenadministratie in te lichten over leden die een optout op één of meer Tripolis mailings hebben gedaan, wordt na het verwerken van de optouts een mail gestuurd naar ledenadministratie@hcc.nl. Elke dag is er een nieuwe log file maar die wordt door dezelfde cronjob aan een archive geplakt. Zie mail_tripolis_reports.sh.</strike>

Egbert laat zich iedere nacht een rapportage mail sturen, zie mail_tripolis_export_report.sh.

==Eénmalige jobs==
Er zijn een aantal php scripts voor éénmalig gebruik gemaakt. Deze worden niet in de cronjobs gebruikt maar waren slechts bedoeld om de lijsten opgeleverd door VB in LDAP te krijgen. Deze scripts zijn in de subdirectory '''popbull-specials''' geplaatst.
* '''import_digizine_csv.php''' de initiële Digizine lijst
* '''import_nieuwsflash_csv.php''' de initiële Nieuwsflash lijst
* '''import_popbull_csv.php''' de initiële lijst zoals die van HenZ (popbull provider) komt

=ISIZ enquête=
Op verzoek geschreven scripts voor eenmalig gebruik. Terug te vinden in in de '''enquete-specials''' subdirectory.
* '''gen_enquete_csv.php''' enquête per email
* '''gen_enquete_csv_no_mail.php''' enquête per post

=Nameserver=
* gen_mx_hcc.php
* gen_mx_hobby.php
* upd_nameserver.sh

=Firewall (op ldap servers)=
* gen_xml_fw_ip4.php
* gen_xml_fw_ip6.php
* sync_hobbynetfw.sh
* gen_fw.sh

LDAP scripting

2022-05-16T19:41:27Z

Egbert: /* Maandrapportage */

=Inleiding=
Omdat de ldap server in sneltreinvaart de bron voor allerlei services aan het worden is, ontstaat er ook een migratie van (veelal perl) scripts op scripting-int naar php scripts op ldap-lb1-int. ldap-lb1-int is net als scripting-int een server met verhoogde security. Er mag dus wel '''van''' deze server '''naar''' andere servers geconnect worden maar niet andersom. Dit is vergelijkbaar met de situatie op scripting-int. Deze mogelijkheid is essentieel voor de goede werking van sommige scripts.

==Type scripts==
Er zijn globaal een aantal soorten scripts te onderscheiden:
* De eigenlijke scripts die een bepaalde taak uitvoeren en vaak naar stdout schrijven (.php soms geen extensie).
* De cronjob scripts. Gewoonlijk herkenbaar aan de '''.sh''' extensie. Deze scripts bundelen vaak meerdere php scripts tot complete oplossingen.
* Scripts die voor initialiseren en backuppen van de ldap directory nodig zijn ('''init_ldap, dump_ldap en restore_ldap'''). Behalve dump_ldap mogen deze scripts nooit zomaar gedraaid worden; de ldap directory zou vernield worden.

==Overzicht scripts==
<pre>
0_DIT_IS_EEN_LOCAL_DIR gen_passwd_code2.php LDAP_include_telefoon.php sync_hccforums.php
check_ms gen_passwd_hcc.php LDAP_lid_weg.php sync_hobbynetbin_2.sh
cron_joomla.php gen_shadow_admin.php LDAP_maak_hccOptOutTokens.php sync_hobbynetdata_2.sh
cron_joomla.sh gen_shadow_code2.php _LDAP_schoon_4045431_op.php sync_hobbynetetc_2.sh
database-onderhoud.sh gen_shadow_hcc.php LDAP_schoon_database.php sync_hobbynetfw_2.sh
dump_ldap.sh gen_xml_fw_ip4.php LDAP_schoon_mysql_op.php sync_hobbynetlib_2.sh
enquete-specials gen_xml_fw_ip6.php LDAP_schoon_testleden_op.php tel_unieke_bezoekers-volgens-LDAP_en_SQL.php
forum-specials get_all_mailbox_sizes.sh LDAP_vul_leden.php tel_unieke_bezoekers-volgens-LDAP.php
gen_bezoekersstatistiek_xml.php get_ip4 LDAP_vul_profielbekend.php tel_unieke_bezoekers-volgens-LDAP.sh
gen_compusers_csv.php get_ip6 mailman-specials test.php
gen_dmarc_hcc.php getip-http mail_tripolis_export_report.sh tripolis_import
gen_fw.sh hccforums_db.php optouts unblock_joomla.php
gen_group_admin.php hcc.nl.mx.fallback other-specials unblock_joomla.sh
gen_group_code2.php huisgenoot_lidmaatschappen.php popbull-specials update_domeinen.php
gen_group_hcc.php huisgenoot_lidmaatschappen.sh postcode-specials update_domeinen.sh
gen_hobbyabon.php init_ldap_mdb.sh purge_hccforums.php update_hccforums.sh
gen_iplist_partners.php init_ldap.sh renameusers_joomla.php update_joomla.php
gen_iplist_partners.sh kader_maak_html.php renameusers_joomla.sh update_joomla.sh
gen_kader_csv.php kader_maak_lijsten.sh restore_ldap.sh upd_code2_accounts.sh
gen_kaderfunc.php kader_maak_txt.php rss_joomla.php upd_hcc_accounts.sh
gen_kaderlist.php kader_maak_xb_csv.php rss_joomla.sh upd_ldap_dev.sh
gen_ldap_bul_export.php LDAP_bepaal_startconditie.php ruim_lock_files_op.sh upd_ldap-test-dev.expect
gen_ldap_cor_export.php ldap.conf.ldif ruim_pdf_facturen_op.sh upd_ldap_test.sh
gen_ldap_hoofdbestuur_export.php LDAP_controleer_groeperingen.php ruimsmsverstuurdsmsop.sql upd_mailserver_report.sh
gen_ldap_kader_export.php LDAP_controleer_kader.php run_maand_rapport.sh upd_mailserver.sh
gen_ldap_ledenraad_export.php LDAP_controleer_users.php run_tripolis_export.sh upd_nameserver.sh
gen_ldap_niet_leden_export.php LDAP_copyright.txt schoon_alles_op_include.php upd_srv
gen_leden_csv.php LDAP_cronjob.sh schoon_alles_op.sh upg_vmware_tools
gen_leden_dubbel.log LDAP_forceer_CSV.sh schoon_breg_token_tabel_op.php upload_bezoekersstatistiek.sh
gen_leden_dubbel.php LDAP_ftps_lget_CRM_leden.sh schoon_forms_database_op.php upload_compusers_csv.sh
gen_maand_rap.php LDAP_herstel_profielbekend.php schoon_JoomlaTokens_tabel_op.php upload_kader_csv.sh
gen_mail_exclude_txt.php LDAP_include_henz.php schoon_LDAP_en_hcc_Bezoek_op.php upload_leden_csv.sh
gen_mx_hcc-fallback.php LDAP_include_ISO.php set_menu_joomla.sh vergelijk_scripts.readme
gen_mx_hcc.php LDAP_include_Joomla_db.php set_menu.php verrijk_factuur.php
gen_mx_hobby.php LDAP_include_mail.php statistiek_xml.php verrijk_factuur.sh
gen_passwd_admin.php LDAP_include.php statistiek_xml.sh
</pre>

==Crontab==
===Wijzigingen===
vbs20220516: Tripolis Import en rapportage uitgeschakeld.
<pre>
##############################################################################################################
# Wijzigingen graag ook aanbrengen op deze wiki pagina: https://wiki.hobby.nl/index.php?title=LDAP_scripting #
##############################################################################################################

# Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab(5) and cron(8)
#
# m h dom mon dow command

# Update rssfeeds joomla
1 */1 * * * /usr/local/hobbynet/bin/rss_joomla.sh >>/var/log/rss_joomla.log

# Synchroniseer firewall regels van ldap-lb1 naar ldap-lb2
55 5 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 11 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 17 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 23 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh

# Herstart Firewall
0 6 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 12 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 18 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 0 * * * /etc/init.d/hobby-firewall restart >/dev/null

# Check op updates en download deze alvast ivm Nagios detectie
0 6 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null
0 18 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null

# Maak een beveiligde backup
45 23 * * * /usr/local/hobbynet/local/backup-encrypted.bash >>/var/log/backup_encrypted.log

# Sync bin dir naar ldap-lb2
50 23 * * * /usr/local/hobbynet/bin/sync_hobbynetbin_2.sh
# Sync etc dir naar ldap-lb2
51 23 * * * /usr/local/hobbynet/bin/sync_hobbynetetc_2.sh
# Sync lib dir naar ldap-lb2
52 23 * * * /usr/local/hobbynet/bin/sync_hobbynetlib_2.sh

# Voer de cron_joomla.sh cronjob uit voor de bit backup
01 0 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Voer de cron_joomla.sh cronjob uit voor 'update_joomla.sh'
15 1 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Forceer dat er een verse set CSV bestanden klaar wordt gezet
05 3 * * * /usr/local/hobbynet/bin/LDAP_forceer_CSV.sh >/dev/null

# Doe alle processing CRM->LDAP
10 3 * * * /usr/local/hobbynet/bin/LDAP_cronjob.sh >>/var/log/LDAP_cronjob.log

# Maak /usr/local/hobbynet/apache2conf/iplists/iplist-partners-24 aan
7 3 * * * /usr/local/hobbynet/bin/gen_iplist_partners.sh

# Ververs postfixadmin op mail-lb1 en mail-lb2. Mail report
26 3 * * * /usr/local/hobbynet/bin/upd_mailserver.sh >/var/log/upd_mailserver.log
30 3 * * * /usr/local/hobbynet/bin/upd_mailserver_report.sh

# Haal de opt-outs op van Tripolis
### disabled 20220516
###15 3 * * * /usr/local/hobbynet/bin/run_tripolis_import.sh >/var/log/run_tripolis_import.log

# Haal de handmatige Tripolis opt-outs op, en mail die naar Egbert
### disabled 20220516
###31 3 * * * /usr/local/hobbynet/bin/mail_tripolis_import_report.sh

# Maak en plaats de ledenlijst voor Kantoor
35 3 * * * /usr/local/hobbynet/bin/upload_leden_csv.sh >/dev/null

# Maak en plaats de kaderlijst voor Kantoor
40 3 * * * /usr/local/hobbynet/bin/upload_kader_csv.sh >/dev/null

# Deblokkeer actieve joomla gebruikers
45 3 * * * /usr/local/hobbynet/bin/unblock_joomla.sh >>/var/log/unblock_joomla.log

# Haal de aantallen bezoekers, en zet die over naar de beschermde kantoor omgeving
47 3 * * * /usr/local/hobbynet/bin/upload_bezoekersstatistiek.sh >/dev/null

# Maak overzicht van alle opt-ins voor Tripolis
50 3 * * * /usr/local/hobbynet/bin/run_tripolis_export.sh >/var/log/run_tripolis_export.log

# Hernoem in Joomla de users die zijn hernoemd in ldap
50 3 * * * /usr/local/hobbynet/bin/renameusers_joomla.sh >>/var/log/renameusers_joomla.log

# Haal het resultaat van de Tripolis export op, en mail die naar Egbert
52 3 * * * /usr/local/hobbynet/bin/mail_tripolis_export_report.sh

# Maak en plaats statistiek overzicht van alle HCC groeperingen
55 3 * * * /usr/local/hobbynet/bin/statistiek_xml.sh >/dev/null

# Start joomla onderhoud
0 4 * * * /usr/local/hobbynet/bin/update_joomla.sh >>/var/log/update_joomla.log

# Doe de Hobbynet maand rapportage
0 4 1 * * /usr/local/hobbynet/bin/run_maand_rapport.sh >/dev/null

# Bepaal het aantal unieke (en totaal aantal) bezoekers van de laatste 12 maanden, mail dat aan VB
5 4 1 * * /usr/local/hobbynet/bin/tel_unieke_bezoekers-volgens-LDAP.sh >/dev/null

# Maak een lijst van onjuiste huisgenoot-lidmaatschappen
10 4 1 * * /usr/local/hobbynet/bin/huisgenoot_lidmaatschappen.sh >/dev/null

# Schoon mySQL en LDAP op
5 4 2 * * /usr/local/hobbynet/bin/schoon_alles_op.sh

# Verrijk een naar SFTP geupload factuur bestand met factuurtokens
15 * * * * /bin/bash /usr/local/hobbynet/bin/verrijk_factuur.sh >>/var/log/verrijk_factuur.log

# ruim sms database op
42 12 * * * cat /usr/local/hobbynet/bin/ruimsmsverstuurdsmsop.sql |mysql >/dev/null

# corigeer menu elke 4 uur
#42 */4 * * * /usr/local/hobbynet/bin/set_menu_joomla.sh >>/var/log/set_menu_joomla.log

</pre>

=Toepassingen=
Soms zijn er een aantal scripts die bij elkaar horen en er voor een bepaalde toepassing zijn, zoals om de mailserver te updaten, dagelijkse bestanden voor Kantoor te maken, dagelijkse bestanden voor het Tripolis mail systeem en niet geheel onbelangrijk, scripts die ldap dagelijks bijwerken met de '''master''' data die in het HCC CRM wordt bijgehouden (als er een mutatie gemist is, b.v. omdat een JSON aanroep vanuit het CRM naar de Hobbynet XML-RPC server overdag mislukt is).

==LDAP==
Drie scripts zijn essentieel om de hele LDAP database te dumpen, te initialiseren en weer te vullen. Dit proces is nodig als een schema change moet worden aangebracht in de LDAP configuratie. Zie ook de pagina over de LDAP server.
* '''dump_ldap.sh''' Dumpt alle ou's in afzonderlijke ldif bestanden in de data directory en maakt er ook een tarball van.
* '''init_ldap.sh <beheer-password>''' Bouwt de hele LDAP structuur van de grond af op.
* '''restore_ldap.sh''' Vult de hele LDAP structuur met file uit de dump_ldap stap.

==Statistieken==
Iedere nacht worden er door het script '''statistiek_xml.sh''' van alle groeperingen en van de complete HCC leden database statistieken in XML formaat gemaakt. Daarna worden deze statistieken met het script '''statistiek_xml.sh''' naar de kadernet server overgezet.

==Mailserver==
<strike>De mailserver kreeg tot voor kort 2 bestanden van scripting-int, husers en b3a.txt. De inhoud van beide bestanden kan ook uit ldap gehaald worden. Hiervoor zijn de volgende scripts in gebruik:</strike>
* <strike>'''gen_hobbyabon.php'''. Dit script maakt een equivalent aan van husers en bevat alleen de betalende Hobbynet abonnees (enige tientallen regels).</strike>
* <strike>'''gen_kaderfunc.php'''. Dit script is de vervanger van b3a.txt, de lijst van alle kaderfuncties (ongeveer 1200).</strike>
* <strike>'''gen_kaderlist.php'''. Een hulp bestand met alleen de 7 cijferige lidnummers van alle kaderleden (ruim 700). Deze lijst wordt op de mailserver gebruikt om incidenteel kadermailboxen op te ruimen.</strike>
* <strike>'''gen_mail_exclude_txt.php'''. Nog een hulp bestand waar in de interessegroepen staan die geen functionele mailadressen nodig hebben. Dit zijn vooral de ig's die geen echte ig zijn zoals de HCC zelf en de RvA en RvT maar wel als zodanig in ldap staan. Ook de cursus presentatoren vallen hieronder.</strike>
* '''upd_mailserver_report.sh'''. Dit script mailt de dagelijkse logs ter controle of alles goed is gegaan.
* '''upd_mailserver.sh'''. Bundelt de php scripts tot een cronjob die elke nacht loopt. Dit script draait de 4 php scripts, doet wat na bewerking, kopieert de output naar mail-lb1-int en start '''upd_mailserver_all''' op mail-lb1-int. Tenslotte worden nog de relay-domains opgehaald van mail-lb1-int (dat bestand is pas up-to-date nadat upd_mailserver_all op mail-lb1-int heeft gelopen).Hierna is mail-lb2 nog niet geheel up-to-date. Het script dat door ldap-lb1 is gestart, doet aan het eind een rsync van de datadir op mail-lb1 naar mail-lb2. Tenslotte start mail-lb1 een script op mail-lb2 om die ook up-to-date te maken. Dit is dus een drietraps systeem.

==Maandrapportage==
* '''gen_maand_rap.php'''. Verzamelt alle data van Hobbynet abonnees en alle andere users in ldap. Optie '''-m''' mailt naar de accounthouder in het ldap record. Sinds medio 2020 krijgen hcc groepering webmasters deze mail niet meer, omdat ze nu allemaal gebruik maken van een Joomla template site, en daar geen 'eigenaar' meer van zijn.
* '''run_maand_rapport.sh'''. Cronjob die bovenstaande scripts 1x per maand draait.

==Passwd, shadow en group==
<strike>
* gen_group_admin.php
* gen_group_code2.php
* gen_group_hcc.php
* gen_passwd_admin.php
* gen_passwd_code2.php
* gen_passwd_hcc.php
* gen_shadow_admin.php
* gen_shadow_code2.php
* gen_shadow_hcc.php
* upd_admin_accounts.sh (is er niet)
* upd_code2_accounts.sh
* upd_hcc_accounts.sh

Deze scripts genereren de passwd, shadow en group entries voor de betalende leden (_code2), de admins (_admin, de lagere goden, op het moment niet gebruikt; er is wel een .hobby met alleen Roel v.d. Bussche erin) en voor de HCC groeperingen (_hcc). De output wordt op de shared etc omgeving neergezet zodat elke (web)server ze kan toevoegen aan de passwd.temp/shadow.temp/group.temp files. Hiervoor wordt de lokale job upd_usr (of upd_hobby_only) gedraaid.
</strike>

==HCC Verenigingsbureau==
Het HCC Verenigingsbureau ('VB') heeft beschikking over een ledenlijst en een kader/kernledenlijst die dagelijks up-to-date zijn. Deze lijsten zijn in CSV formaat zodat men zelf in de hand heeft hoe het bestand gebruikt wordt. Ze worden dagelijks op de Hobbynet sftp server (dedicated server t.b.v. gebuik vanaf het VB) geplaatst.

Daarnaast krijgt VB iedere dag een actueel overzicht van de aantallen bezoekers (bezoekers statistiek).

* '''upload_kader_csv.sh''' de cronjob
* '''gen_kader_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_leden_csv.sh''' de cronjob
* '''gen_leden_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_bezoekersstatistiek.sh''' de cronjob
* '''gen_bezoekersstatistiek_csv.php''' het php script dat een bestand in CSV formaat maakt met de bezoekersstatistieken.

==CompUsers==
2020: VB heeft 'eigen' afspraken met CU gemaakt, en stuurt ze op eigen houtje zomaar ledenbestanden toe. Onze scripts zijn daarmee zinloos geworden.

<strike>Met CompUsers zijn speciale afspraken gemaakt door Kantoor in januari 2014. Zij krijgen een sterk verkorte lijst van ALLE leden voor hun administratie. Het streven is dit zo spoedig mogelijk te vervangen door een ander mechanisme zoals de partner check.

* '''upload_compusers_csv.sh''' de cronjob
* '''gen_compusers_csv.php''' het script dat een CSV maakt. Dit is een afgeslankt vorm van het '''gen_leden_csv.php''' script.</strike>

=Koppeling met Tripolis=
Het oude "popbull" systeem dat bij HenZ draait is in de zomer van 2013 vervangen door Tripolis. Tripolis wordt al jaren gebruikt door kantoor voor het versturen van Digizine en de Nieuwsflash. Per groepering wordt een account aangemaakt met beperkte rechten waar mee de Correspondent van de groepering mailings kan versturen. Om Tripolis en ldap in sync te houden wordt er elke nacht data uitgewisseld. Ldap is leidend in deze maar als mensen zich uitschrijven (opt-out) via de knop onder aan de mailing, moet dat doorgegeven worden aan ldap.

==Sync van Tripolis naar ldap==
* '''run_tripolis_import.sh''' de eigenlijke cronjob
* '''import_tripolis_csv.php''' vertaalt de CSV van opt-outs naar het wissen van de individuele optins.

Tripolis plaatst elke nacht om 00:01 een CSV bestand met de opt-outs per bulletin van de vorige dag. Dit gebeurt met datums. Als de datum van gisteren ingevuld staat is daar een optout geweest. Als er geen opt-outs zijn, bevat het veld slechts een lege string. Het bestand wordt naar de ldap server gehaald waar een aantal versies bewaard worden. De bestanden wordt verwijderd van de sftp omgeving. Vervolgens worden het gedownloade bestand verwerkt om bij het lid de hccOptIn van dit bulletin te verwijderen.

==Sync van ldap naar Tripolis==
* '''run_tripolis_export.sh''' de eigenlijk cronjob
* '''gen_ldap_bul_export.php''' maakt een volledige lijst aan van emailadres, lidnr en optins. Dit bestand gaat naar de sftp omgeving van Tripolis.
* '''gen_ldap_cor_export.php''' maakt een lijst van alle correspondenten voor kantoor. Dit bestand gaat naar de sftp omgeving van Kantoor.

Het export bestand wordt elke nacht (om 02:50) op de sftp omgeving voor Tripolis klaargezet. Tripolis haalt het om 05:00 op. Omdat de opt-outs van Tripolis om 02:15 verwerkt worden, is dit bestand dus al bijgewerkt voor wat betreft die opt-outs. Alle andere wijzigingen komen van de hcc.nl profielpagina's of mutaties door derden op ldap (mutaties door Hobbynet staff of PC30).

==Rapportage==
<strike>Om ook de ledenadministratie in te lichten over leden die een optout op één of meer Tripolis mailings hebben gedaan, wordt na het verwerken van de optouts een mail gestuurd naar ledenadministratie@hcc.nl. Elke dag is er een nieuwe log file maar die wordt door dezelfde cronjob aan een archive geplakt. Zie mail_tripolis_reports.sh.</strike>

Egbert laat zich iedere nacht een rapportage mail sturen, zie mail_tripolis_export_report.sh.

==Eénmalige jobs==
Er zijn een aantal php scripts voor éénmalig gebruik gemaakt. Deze worden niet in de cronjobs gebruikt maar waren slechts bedoeld om de lijsten opgeleverd door VB in LDAP te krijgen. Deze scripts zijn in de subdirectory '''popbull-specials''' geplaatst.
* '''import_digizine_csv.php''' de initiële Digizine lijst
* '''import_nieuwsflash_csv.php''' de initiële Nieuwsflash lijst
* '''import_popbull_csv.php''' de initiële lijst zoals die van HenZ (popbull provider) komt

=ISIZ enquête=
Op verzoek geschreven scripts voor eenmalig gebruik. Terug te vinden in in de '''enquete-specials''' subdirectory.
* '''gen_enquete_csv.php''' enquête per email
* '''gen_enquete_csv_no_mail.php''' enquête per post

=Nameserver=
* gen_mx_hcc.php
* gen_mx_hobby.php
* upd_nameserver.sh

=Firewall (op ldap servers)=
* gen_xml_fw_ip4.php
* gen_xml_fw_ip6.php
* sync_hobbynetfw.sh
* gen_fw.sh

LDAP scripting

2022-05-16T19:29:33Z

Egbert: /* Crontab */

=Inleiding=
Omdat de ldap server in sneltreinvaart de bron voor allerlei services aan het worden is, ontstaat er ook een migratie van (veelal perl) scripts op scripting-int naar php scripts op ldap-lb1-int. ldap-lb1-int is net als scripting-int een server met verhoogde security. Er mag dus wel '''van''' deze server '''naar''' andere servers geconnect worden maar niet andersom. Dit is vergelijkbaar met de situatie op scripting-int. Deze mogelijkheid is essentieel voor de goede werking van sommige scripts.

==Type scripts==
Er zijn globaal een aantal soorten scripts te onderscheiden:
* De eigenlijke scripts die een bepaalde taak uitvoeren en vaak naar stdout schrijven (.php soms geen extensie).
* De cronjob scripts. Gewoonlijk herkenbaar aan de '''.sh''' extensie. Deze scripts bundelen vaak meerdere php scripts tot complete oplossingen.
* Scripts die voor initialiseren en backuppen van de ldap directory nodig zijn ('''init_ldap, dump_ldap en restore_ldap'''). Behalve dump_ldap mogen deze scripts nooit zomaar gedraaid worden; de ldap directory zou vernield worden.

==Overzicht scripts==
<pre>
0_DIT_IS_EEN_LOCAL_DIR gen_passwd_code2.php LDAP_include_telefoon.php sync_hccforums.php
check_ms gen_passwd_hcc.php LDAP_lid_weg.php sync_hobbynetbin_2.sh
cron_joomla.php gen_shadow_admin.php LDAP_maak_hccOptOutTokens.php sync_hobbynetdata_2.sh
cron_joomla.sh gen_shadow_code2.php _LDAP_schoon_4045431_op.php sync_hobbynetetc_2.sh
database-onderhoud.sh gen_shadow_hcc.php LDAP_schoon_database.php sync_hobbynetfw_2.sh
dump_ldap.sh gen_xml_fw_ip4.php LDAP_schoon_mysql_op.php sync_hobbynetlib_2.sh
enquete-specials gen_xml_fw_ip6.php LDAP_schoon_testleden_op.php tel_unieke_bezoekers-volgens-LDAP_en_SQL.php
forum-specials get_all_mailbox_sizes.sh LDAP_vul_leden.php tel_unieke_bezoekers-volgens-LDAP.php
gen_bezoekersstatistiek_xml.php get_ip4 LDAP_vul_profielbekend.php tel_unieke_bezoekers-volgens-LDAP.sh
gen_compusers_csv.php get_ip6 mailman-specials test.php
gen_dmarc_hcc.php getip-http mail_tripolis_export_report.sh tripolis_import
gen_fw.sh hccforums_db.php optouts unblock_joomla.php
gen_group_admin.php hcc.nl.mx.fallback other-specials unblock_joomla.sh
gen_group_code2.php huisgenoot_lidmaatschappen.php popbull-specials update_domeinen.php
gen_group_hcc.php huisgenoot_lidmaatschappen.sh postcode-specials update_domeinen.sh
gen_hobbyabon.php init_ldap_mdb.sh purge_hccforums.php update_hccforums.sh
gen_iplist_partners.php init_ldap.sh renameusers_joomla.php update_joomla.php
gen_iplist_partners.sh kader_maak_html.php renameusers_joomla.sh update_joomla.sh
gen_kader_csv.php kader_maak_lijsten.sh restore_ldap.sh upd_code2_accounts.sh
gen_kaderfunc.php kader_maak_txt.php rss_joomla.php upd_hcc_accounts.sh
gen_kaderlist.php kader_maak_xb_csv.php rss_joomla.sh upd_ldap_dev.sh
gen_ldap_bul_export.php LDAP_bepaal_startconditie.php ruim_lock_files_op.sh upd_ldap-test-dev.expect
gen_ldap_cor_export.php ldap.conf.ldif ruim_pdf_facturen_op.sh upd_ldap_test.sh
gen_ldap_hoofdbestuur_export.php LDAP_controleer_groeperingen.php ruimsmsverstuurdsmsop.sql upd_mailserver_report.sh
gen_ldap_kader_export.php LDAP_controleer_kader.php run_maand_rapport.sh upd_mailserver.sh
gen_ldap_ledenraad_export.php LDAP_controleer_users.php run_tripolis_export.sh upd_nameserver.sh
gen_ldap_niet_leden_export.php LDAP_copyright.txt schoon_alles_op_include.php upd_srv
gen_leden_csv.php LDAP_cronjob.sh schoon_alles_op.sh upg_vmware_tools
gen_leden_dubbel.log LDAP_forceer_CSV.sh schoon_breg_token_tabel_op.php upload_bezoekersstatistiek.sh
gen_leden_dubbel.php LDAP_ftps_lget_CRM_leden.sh schoon_forms_database_op.php upload_compusers_csv.sh
gen_maand_rap.php LDAP_herstel_profielbekend.php schoon_JoomlaTokens_tabel_op.php upload_kader_csv.sh
gen_mail_exclude_txt.php LDAP_include_henz.php schoon_LDAP_en_hcc_Bezoek_op.php upload_leden_csv.sh
gen_mx_hcc-fallback.php LDAP_include_ISO.php set_menu_joomla.sh vergelijk_scripts.readme
gen_mx_hcc.php LDAP_include_Joomla_db.php set_menu.php verrijk_factuur.php
gen_mx_hobby.php LDAP_include_mail.php statistiek_xml.php verrijk_factuur.sh
gen_passwd_admin.php LDAP_include.php statistiek_xml.sh
</pre>

==Crontab==
===Wijzigingen===
vbs20220516: Tripolis Import en rapportage uitgeschakeld.
<pre>
##############################################################################################################
# Wijzigingen graag ook aanbrengen op deze wiki pagina: https://wiki.hobby.nl/index.php?title=LDAP_scripting #
##############################################################################################################

# Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab(5) and cron(8)
#
# m h dom mon dow command

# Update rssfeeds joomla
1 */1 * * * /usr/local/hobbynet/bin/rss_joomla.sh >>/var/log/rss_joomla.log

# Synchroniseer firewall regels van ldap-lb1 naar ldap-lb2
55 5 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 11 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 17 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 23 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh

# Herstart Firewall
0 6 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 12 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 18 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 0 * * * /etc/init.d/hobby-firewall restart >/dev/null

# Check op updates en download deze alvast ivm Nagios detectie
0 6 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null
0 18 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null

# Maak een beveiligde backup
45 23 * * * /usr/local/hobbynet/local/backup-encrypted.bash >>/var/log/backup_encrypted.log

# Sync bin dir naar ldap-lb2
50 23 * * * /usr/local/hobbynet/bin/sync_hobbynetbin_2.sh
# Sync etc dir naar ldap-lb2
51 23 * * * /usr/local/hobbynet/bin/sync_hobbynetetc_2.sh
# Sync lib dir naar ldap-lb2
52 23 * * * /usr/local/hobbynet/bin/sync_hobbynetlib_2.sh

# Voer de cron_joomla.sh cronjob uit voor de bit backup
01 0 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Voer de cron_joomla.sh cronjob uit voor 'update_joomla.sh'
15 1 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Forceer dat er een verse set CSV bestanden klaar wordt gezet
05 3 * * * /usr/local/hobbynet/bin/LDAP_forceer_CSV.sh >/dev/null

# Doe alle processing CRM->LDAP
10 3 * * * /usr/local/hobbynet/bin/LDAP_cronjob.sh >>/var/log/LDAP_cronjob.log

# Maak /usr/local/hobbynet/apache2conf/iplists/iplist-partners-24 aan
7 3 * * * /usr/local/hobbynet/bin/gen_iplist_partners.sh

# Ververs postfixadmin op mail-lb1 en mail-lb2. Mail report
26 3 * * * /usr/local/hobbynet/bin/upd_mailserver.sh >/var/log/upd_mailserver.log
30 3 * * * /usr/local/hobbynet/bin/upd_mailserver_report.sh

# Haal de opt-outs op van Tripolis
### disabled 20220516
###15 3 * * * /usr/local/hobbynet/bin/run_tripolis_import.sh >/var/log/run_tripolis_import.log

# Haal de handmatige Tripolis opt-outs op, en mail die naar Egbert
### disabled 20220516
###31 3 * * * /usr/local/hobbynet/bin/mail_tripolis_import_report.sh

# Maak en plaats de ledenlijst voor Kantoor
35 3 * * * /usr/local/hobbynet/bin/upload_leden_csv.sh >/dev/null

# Maak en plaats de kaderlijst voor Kantoor
40 3 * * * /usr/local/hobbynet/bin/upload_kader_csv.sh >/dev/null

# Deblokkeer actieve joomla gebruikers
45 3 * * * /usr/local/hobbynet/bin/unblock_joomla.sh >>/var/log/unblock_joomla.log

# Haal de aantallen bezoekers, en zet die over naar de beschermde kantoor omgeving
47 3 * * * /usr/local/hobbynet/bin/upload_bezoekersstatistiek.sh >/dev/null

# Maak overzicht van alle opt-ins voor Tripolis
50 3 * * * /usr/local/hobbynet/bin/run_tripolis_export.sh >/var/log/run_tripolis_export.log

# Hernoem in Joomla de users die zijn hernoemd in ldap
50 3 * * * /usr/local/hobbynet/bin/renameusers_joomla.sh >>/var/log/renameusers_joomla.log

# Haal het resultaat van de Tripolis export op, en mail die naar Egbert
52 3 * * * /usr/local/hobbynet/bin/mail_tripolis_export_report.sh

# Maak en plaats statistiek overzicht van alle HCC groeperingen
55 3 * * * /usr/local/hobbynet/bin/statistiek_xml.sh >/dev/null

# Start joomla onderhoud
0 4 * * * /usr/local/hobbynet/bin/update_joomla.sh >>/var/log/update_joomla.log

# Doe de Hobbynet maand rapportage
0 4 1 * * /usr/local/hobbynet/bin/run_maand_rapport.sh >/dev/null

# Bepaal het aantal unieke (en totaal aantal) bezoekers van de laatste 12 maanden, mail dat aan VB
5 4 1 * * /usr/local/hobbynet/bin/tel_unieke_bezoekers-volgens-LDAP.sh >/dev/null

# Maak een lijst van onjuiste huisgenoot-lidmaatschappen
10 4 1 * * /usr/local/hobbynet/bin/huisgenoot_lidmaatschappen.sh >/dev/null

# Schoon mySQL en LDAP op
5 4 2 * * /usr/local/hobbynet/bin/schoon_alles_op.sh

# Verrijk een naar SFTP geupload factuur bestand met factuurtokens
15 * * * * /bin/bash /usr/local/hobbynet/bin/verrijk_factuur.sh >>/var/log/verrijk_factuur.log

# ruim sms database op
42 12 * * * cat /usr/local/hobbynet/bin/ruimsmsverstuurdsmsop.sql |mysql >/dev/null

# corigeer menu elke 4 uur
#42 */4 * * * /usr/local/hobbynet/bin/set_menu_joomla.sh >>/var/log/set_menu_joomla.log

</pre>

=Toepassingen=
Soms zijn er een aantal scripts die bij elkaar horen en er voor een bepaalde toepassing zijn, zoals om de mailserver te updaten, dagelijkse bestanden voor Kantoor te maken, dagelijkse bestanden voor het Tripolis mail systeem en niet geheel onbelangrijk, scripts die ldap dagelijks bijwerken met de '''master''' data die in het HCC CRM wordt bijgehouden (als er een mutatie gemist is, b.v. omdat een JSON aanroep vanuit het CRM naar de Hobbynet XML-RPC server overdag mislukt is).

==LDAP==
Drie scripts zijn essentieel om de hele LDAP database te dumpen, te initialiseren en weer te vullen. Dit proces is nodig als een schema change moet worden aangebracht in de LDAP configuratie. Zie ook de pagina over de LDAP server.
* '''dump_ldap.sh''' Dumpt alle ou's in afzonderlijke ldif bestanden in de data directory en maakt er ook een tarball van.
* '''init_ldap.sh <beheer-password>''' Bouwt de hele LDAP structuur van de grond af op.
* '''restore_ldap.sh''' Vult de hele LDAP structuur met file uit de dump_ldap stap.

==Statistieken==
Iedere nacht worden er door het script '''statistiek_xml.sh''' van alle groeperingen en van de complete HCC leden database statistieken in XML formaat gemaakt. Daarna worden deze statistieken met het script '''statistiek_xml.sh''' naar de kadernet server overgezet.

==Mailserver==
<strike>De mailserver kreeg tot voor kort 2 bestanden van scripting-int, husers en b3a.txt. De inhoud van beide bestanden kan ook uit ldap gehaald worden. Hiervoor zijn de volgende scripts in gebruik:</strike>
* <strike>'''gen_hobbyabon.php'''. Dit script maakt een equivalent aan van husers en bevat alleen de betalende Hobbynet abonnees (enige tientallen regels).</strike>
* <strike>'''gen_kaderfunc.php'''. Dit script is de vervanger van b3a.txt, de lijst van alle kaderfuncties (ongeveer 1200).</strike>
* <strike>'''gen_kaderlist.php'''. Een hulp bestand met alleen de 7 cijferige lidnummers van alle kaderleden (ruim 700). Deze lijst wordt op de mailserver gebruikt om incidenteel kadermailboxen op te ruimen.</strike>
* <strike>'''gen_mail_exclude_txt.php'''. Nog een hulp bestand waar in de interessegroepen staan die geen functionele mailadressen nodig hebben. Dit zijn vooral de ig's die geen echte ig zijn zoals de HCC zelf en de RvA en RvT maar wel als zodanig in ldap staan. Ook de cursus presentatoren vallen hieronder.</strike>
* '''upd_mailserver_report.sh'''. Dit script mailt de dagelijkse logs ter controle of alles goed is gegaan.
* '''upd_mailserver.sh'''. Bundelt de php scripts tot een cronjob die elke nacht loopt. Dit script draait de 4 php scripts, doet wat na bewerking, kopieert de output naar mail-lb1-int en start '''upd_mailserver_all''' op mail-lb1-int. Tenslotte worden nog de relay-domains opgehaald van mail-lb1-int (dat bestand is pas up-to-date nadat upd_mailserver_all op mail-lb1-int heeft gelopen).Hierna is mail-lb2 nog niet geheel up-to-date. Het script dat door ldap-lb1 is gestart, doet aan het eind een rsync van de datadir op mail-lb1 naar mail-lb2. Tenslotte start mail-lb1 een script op mail-lb2 om die ook up-to-date te maken. Dit is dus een drietraps systeem.

==Maandrapportage==
* '''gen_maand_rap.php'''. Verzamelt alle data van Hobbynet abonnees en alle andere users in ldap. Optie '''-m''' mailt naar de accounthouder in het ldap record. Sinds medio 2020 krijgen hcc groepering webmasters deze mail niet meer, omdat ze nu allemaal gebruik maken van een Joomla template site, en daar geen 'eigenaar' meer van zijn.
* <strike>'''gen_pc30_maand_rap.php'''. Mailt specifiek de gegevens van de PC30 agents naar de teamleider.</strike>
* '''run_maand_rapport.sh'''. Cronjob die bovenstaande scripts 1x per maand draait.

==Passwd, shadow en group==
<strike>
* gen_group_admin.php
* gen_group_code2.php
* gen_group_hcc.php
* gen_passwd_admin.php
* gen_passwd_code2.php
* gen_passwd_hcc.php
* gen_shadow_admin.php
* gen_shadow_code2.php
* gen_shadow_hcc.php
* upd_admin_accounts.sh (is er niet)
* upd_code2_accounts.sh
* upd_hcc_accounts.sh

Deze scripts genereren de passwd, shadow en group entries voor de betalende leden (_code2), de admins (_admin, de lagere goden, op het moment niet gebruikt; er is wel een .hobby met alleen Roel v.d. Bussche erin) en voor de HCC groeperingen (_hcc). De output wordt op de shared etc omgeving neergezet zodat elke (web)server ze kan toevoegen aan de passwd.temp/shadow.temp/group.temp files. Hiervoor wordt de lokale job upd_usr (of upd_hobby_only) gedraaid.
</strike>

==HCC Verenigingsbureau==
Het HCC Verenigingsbureau ('VB') heeft beschikking over een ledenlijst en een kader/kernledenlijst die dagelijks up-to-date zijn. Deze lijsten zijn in CSV formaat zodat men zelf in de hand heeft hoe het bestand gebruikt wordt. Ze worden dagelijks op de Hobbynet sftp server (dedicated server t.b.v. gebuik vanaf het VB) geplaatst.

Daarnaast krijgt VB iedere dag een actueel overzicht van de aantallen bezoekers (bezoekers statistiek).

* '''upload_kader_csv.sh''' de cronjob
* '''gen_kader_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_leden_csv.sh''' de cronjob
* '''gen_leden_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_bezoekersstatistiek.sh''' de cronjob
* '''gen_bezoekersstatistiek_csv.php''' het php script dat een bestand in CSV formaat maakt met de bezoekersstatistieken.

==CompUsers==
2020: VB heeft 'eigen' afspraken met CU gemaakt, en stuurt ze op eigen houtje zomaar ledenbestanden toe. Onze scripts zijn daarmee zinloos geworden.

<strike>Met CompUsers zijn speciale afspraken gemaakt door Kantoor in januari 2014. Zij krijgen een sterk verkorte lijst van ALLE leden voor hun administratie. Het streven is dit zo spoedig mogelijk te vervangen door een ander mechanisme zoals de partner check.

* '''upload_compusers_csv.sh''' de cronjob
* '''gen_compusers_csv.php''' het script dat een CSV maakt. Dit is een afgeslankt vorm van het '''gen_leden_csv.php''' script.</strike>

=Koppeling met Tripolis=
Het oude "popbull" systeem dat bij HenZ draait is in de zomer van 2013 vervangen door Tripolis. Tripolis wordt al jaren gebruikt door kantoor voor het versturen van Digizine en de Nieuwsflash. Per groepering wordt een account aangemaakt met beperkte rechten waar mee de Correspondent van de groepering mailings kan versturen. Om Tripolis en ldap in sync te houden wordt er elke nacht data uitgewisseld. Ldap is leidend in deze maar als mensen zich uitschrijven (opt-out) via de knop onder aan de mailing, moet dat doorgegeven worden aan ldap.

==Sync van Tripolis naar ldap==
* '''run_tripolis_import.sh''' de eigenlijke cronjob
* '''import_tripolis_csv.php''' vertaalt de CSV van opt-outs naar het wissen van de individuele optins.

Tripolis plaatst elke nacht om 00:01 een CSV bestand met de opt-outs per bulletin van de vorige dag. Dit gebeurt met datums. Als de datum van gisteren ingevuld staat is daar een optout geweest. Als er geen opt-outs zijn, bevat het veld slechts een lege string. Het bestand wordt naar de ldap server gehaald waar een aantal versies bewaard worden. De bestanden wordt verwijderd van de sftp omgeving. Vervolgens worden het gedownloade bestand verwerkt om bij het lid de hccOptIn van dit bulletin te verwijderen.

==Sync van ldap naar Tripolis==
* '''run_tripolis_export.sh''' de eigenlijk cronjob
* '''gen_ldap_bul_export.php''' maakt een volledige lijst aan van emailadres, lidnr en optins. Dit bestand gaat naar de sftp omgeving van Tripolis.
* '''gen_ldap_cor_export.php''' maakt een lijst van alle correspondenten voor kantoor. Dit bestand gaat naar de sftp omgeving van Kantoor.

Het export bestand wordt elke nacht (om 02:50) op de sftp omgeving voor Tripolis klaargezet. Tripolis haalt het om 05:00 op. Omdat de opt-outs van Tripolis om 02:15 verwerkt worden, is dit bestand dus al bijgewerkt voor wat betreft die opt-outs. Alle andere wijzigingen komen van de hcc.nl profielpagina's of mutaties door derden op ldap (mutaties door Hobbynet staff of PC30).

==Rapportage==
<strike>Om ook de ledenadministratie in te lichten over leden die een optout op één of meer Tripolis mailings hebben gedaan, wordt na het verwerken van de optouts een mail gestuurd naar ledenadministratie@hcc.nl. Elke dag is er een nieuwe log file maar die wordt door dezelfde cronjob aan een archive geplakt. Zie mail_tripolis_reports.sh.</strike>

Egbert laat zich iedere nacht een rapportage mail sturen, zie mail_tripolis_export_report.sh.

==Eénmalige jobs==
Er zijn een aantal php scripts voor éénmalig gebruik gemaakt. Deze worden niet in de cronjobs gebruikt maar waren slechts bedoeld om de lijsten opgeleverd door VB in LDAP te krijgen. Deze scripts zijn in de subdirectory '''popbull-specials''' geplaatst.
* '''import_digizine_csv.php''' de initiële Digizine lijst
* '''import_nieuwsflash_csv.php''' de initiële Nieuwsflash lijst
* '''import_popbull_csv.php''' de initiële lijst zoals die van HenZ (popbull provider) komt

=ISIZ enquête=
Op verzoek geschreven scripts voor eenmalig gebruik. Terug te vinden in in de '''enquete-specials''' subdirectory.
* '''gen_enquete_csv.php''' enquête per email
* '''gen_enquete_csv_no_mail.php''' enquête per post

=Nameserver=
* gen_mx_hcc.php
* gen_mx_hobby.php
* upd_nameserver.sh

=Firewall (op ldap servers)=
* gen_xml_fw_ip4.php
* gen_xml_fw_ip6.php
* sync_hobbynetfw.sh
* gen_fw.sh

LDAP scripting

2022-05-16T19:25:23Z

Egbert: /* Mailman */

=Inleiding=
Omdat de ldap server in sneltreinvaart de bron voor allerlei services aan het worden is, ontstaat er ook een migratie van (veelal perl) scripts op scripting-int naar php scripts op ldap-lb1-int. ldap-lb1-int is net als scripting-int een server met verhoogde security. Er mag dus wel '''van''' deze server '''naar''' andere servers geconnect worden maar niet andersom. Dit is vergelijkbaar met de situatie op scripting-int. Deze mogelijkheid is essentieel voor de goede werking van sommige scripts.

==Type scripts==
Er zijn globaal een aantal soorten scripts te onderscheiden:
* De eigenlijke scripts die een bepaalde taak uitvoeren en vaak naar stdout schrijven (.php soms geen extensie).
* De cronjob scripts. Gewoonlijk herkenbaar aan de '''.sh''' extensie. Deze scripts bundelen vaak meerdere php scripts tot complete oplossingen.
* Scripts die voor initialiseren en backuppen van de ldap directory nodig zijn ('''init_ldap, dump_ldap en restore_ldap'''). Behalve dump_ldap mogen deze scripts nooit zomaar gedraaid worden; de ldap directory zou vernield worden.

==Overzicht scripts==
<pre>
0_DIT_IS_EEN_LOCAL_DIR gen_passwd_code2.php LDAP_include_telefoon.php sync_hccforums.php
check_ms gen_passwd_hcc.php LDAP_lid_weg.php sync_hobbynetbin_2.sh
cron_joomla.php gen_shadow_admin.php LDAP_maak_hccOptOutTokens.php sync_hobbynetdata_2.sh
cron_joomla.sh gen_shadow_code2.php _LDAP_schoon_4045431_op.php sync_hobbynetetc_2.sh
database-onderhoud.sh gen_shadow_hcc.php LDAP_schoon_database.php sync_hobbynetfw_2.sh
dump_ldap.sh gen_xml_fw_ip4.php LDAP_schoon_mysql_op.php sync_hobbynetlib_2.sh
enquete-specials gen_xml_fw_ip6.php LDAP_schoon_testleden_op.php tel_unieke_bezoekers-volgens-LDAP_en_SQL.php
forum-specials get_all_mailbox_sizes.sh LDAP_vul_leden.php tel_unieke_bezoekers-volgens-LDAP.php
gen_bezoekersstatistiek_xml.php get_ip4 LDAP_vul_profielbekend.php tel_unieke_bezoekers-volgens-LDAP.sh
gen_compusers_csv.php get_ip6 mailman-specials test.php
gen_dmarc_hcc.php getip-http mail_tripolis_export_report.sh tripolis_import
gen_fw.sh hccforums_db.php optouts unblock_joomla.php
gen_group_admin.php hcc.nl.mx.fallback other-specials unblock_joomla.sh
gen_group_code2.php huisgenoot_lidmaatschappen.php popbull-specials update_domeinen.php
gen_group_hcc.php huisgenoot_lidmaatschappen.sh postcode-specials update_domeinen.sh
gen_hobbyabon.php init_ldap_mdb.sh purge_hccforums.php update_hccforums.sh
gen_iplist_partners.php init_ldap.sh renameusers_joomla.php update_joomla.php
gen_iplist_partners.sh kader_maak_html.php renameusers_joomla.sh update_joomla.sh
gen_kader_csv.php kader_maak_lijsten.sh restore_ldap.sh upd_code2_accounts.sh
gen_kaderfunc.php kader_maak_txt.php rss_joomla.php upd_hcc_accounts.sh
gen_kaderlist.php kader_maak_xb_csv.php rss_joomla.sh upd_ldap_dev.sh
gen_ldap_bul_export.php LDAP_bepaal_startconditie.php ruim_lock_files_op.sh upd_ldap-test-dev.expect
gen_ldap_cor_export.php ldap.conf.ldif ruim_pdf_facturen_op.sh upd_ldap_test.sh
gen_ldap_hoofdbestuur_export.php LDAP_controleer_groeperingen.php ruimsmsverstuurdsmsop.sql upd_mailserver_report.sh
gen_ldap_kader_export.php LDAP_controleer_kader.php run_maand_rapport.sh upd_mailserver.sh
gen_ldap_ledenraad_export.php LDAP_controleer_users.php run_tripolis_export.sh upd_nameserver.sh
gen_ldap_niet_leden_export.php LDAP_copyright.txt schoon_alles_op_include.php upd_srv
gen_leden_csv.php LDAP_cronjob.sh schoon_alles_op.sh upg_vmware_tools
gen_leden_dubbel.log LDAP_forceer_CSV.sh schoon_breg_token_tabel_op.php upload_bezoekersstatistiek.sh
gen_leden_dubbel.php LDAP_ftps_lget_CRM_leden.sh schoon_forms_database_op.php upload_compusers_csv.sh
gen_maand_rap.php LDAP_herstel_profielbekend.php schoon_JoomlaTokens_tabel_op.php upload_kader_csv.sh
gen_mail_exclude_txt.php LDAP_include_henz.php schoon_LDAP_en_hcc_Bezoek_op.php upload_leden_csv.sh
gen_mx_hcc-fallback.php LDAP_include_ISO.php set_menu_joomla.sh vergelijk_scripts.readme
gen_mx_hcc.php LDAP_include_Joomla_db.php set_menu.php verrijk_factuur.php
gen_mx_hobby.php LDAP_include_mail.php statistiek_xml.php verrijk_factuur.sh
gen_passwd_admin.php LDAP_include.php statistiek_xml.sh
</pre>

==Crontab==
<pre>
##############################################################################################################
# Wijzigingen graag ook aanbrengen op deze wiki pagina: https://wiki.hobby.nl/index.php?title=LDAP_scripting #
##############################################################################################################

# Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab(5) and cron(8)
#
# m h dom mon dow command

# Update rssfeeds joomla
1 */1 * * * /usr/local/hobbynet/bin/rss_joomla.sh >>/var/log/rss_joomla.log

# Synchroniseer firewall regels van ldap-lb1 naar ldap-lb2
55 5 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 11 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 17 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 23 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh

# Herstart Firewall
0 6 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 12 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 18 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 0 * * * /etc/init.d/hobby-firewall restart >/dev/null

# Check op updates en download deze alvast ivm Nagios detectie
0 6 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null
0 18 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null

# Maak een beveiligde backup
45 23 * * * /usr/local/hobbynet/local/backup-encrypted.bash >>/var/log/backup_encrypted.log

# Sync bin dir naar ldap-lb2
50 23 * * * /usr/local/hobbynet/bin/sync_hobbynetbin_2.sh
# Sync etc dir naar ldap-lb2
51 23 * * * /usr/local/hobbynet/bin/sync_hobbynetetc_2.sh
# Sync lib dir naar ldap-lb2
52 23 * * * /usr/local/hobbynet/bin/sync_hobbynetlib_2.sh

# Voer de cron_joomla.sh cronjob uit voor de bit backup
01 0 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Voer de cron_joomla.sh cronjob uit voor 'update_joomla.sh'
15 1 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Forceer dat er een verse set CSV bestanden klaar wordt gezet
05 3 * * * /usr/local/hobbynet/bin/LDAP_forceer_CSV.sh >/dev/null

# Doe alle processing CRM->LDAP
10 3 * * * /usr/local/hobbynet/bin/LDAP_cronjob.sh >>/var/log/LDAP_cronjob.log

# Maak /usr/local/hobbynet/apache2conf/iplists/iplist-partners-24 aan
7 3 * * * /usr/local/hobbynet/bin/gen_iplist_partners.sh

# Ververs postfixadmin op mail-lb1 en mail-lb2. Mail report
26 3 * * * /usr/local/hobbynet/bin/upd_mailserver.sh >/var/log/upd_mailserver.log
30 3 * * * /usr/local/hobbynet/bin/upd_mailserver_report.sh

# Haal de opt-outs op van Tripolis
### disabled 20220516
###15 3 * * * /usr/local/hobbynet/bin/run_tripolis_import.sh >/var/log/run_tripolis_import.log

# Haal de handmatige Tripolis opt-outs op, en mail die naar Egbert
### disabled 20220516
###31 3 * * * /usr/local/hobbynet/bin/mail_tripolis_import_report.sh

# Maak en plaats de ledenlijst voor Kantoor
35 3 * * * /usr/local/hobbynet/bin/upload_leden_csv.sh >/dev/null

# Maak en plaats de kaderlijst voor Kantoor
40 3 * * * /usr/local/hobbynet/bin/upload_kader_csv.sh >/dev/null

# Deblokkeer actieve joomla gebruikers
45 3 * * * /usr/local/hobbynet/bin/unblock_joomla.sh >>/var/log/unblock_joomla.log

# Haal de aantallen bezoekers, en zet die over naar de beschermde kantoor omgeving
47 3 * * * /usr/local/hobbynet/bin/upload_bezoekersstatistiek.sh >/dev/null

# Maak overzicht van alle opt-ins voor Tripolis
50 3 * * * /usr/local/hobbynet/bin/run_tripolis_export.sh >/var/log/run_tripolis_export.log

# Hernoem in Joomla de users die zijn hernoemd in ldap
50 3 * * * /usr/local/hobbynet/bin/renameusers_joomla.sh >>/var/log/renameusers_joomla.log

# Haal het resultaat van de Tripolis export op, en mail die naar Egbert
52 3 * * * /usr/local/hobbynet/bin/mail_tripolis_export_report.sh

# Maak en plaats statistiek overzicht van alle HCC groeperingen
55 3 * * * /usr/local/hobbynet/bin/statistiek_xml.sh >/dev/null

# Start joomla onderhoud
0 4 * * * /usr/local/hobbynet/bin/update_joomla.sh >>/var/log/update_joomla.log

# Doe de Hobbynet maand rapportage
0 4 1 * * /usr/local/hobbynet/bin/run_maand_rapport.sh >/dev/null

# Bepaal het aantal unieke (en totaal aantal) bezoekers van de laatste 12 maanden, mail dat aan VB
5 4 1 * * /usr/local/hobbynet/bin/tel_unieke_bezoekers-volgens-LDAP.sh >/dev/null

# Maak een lijst van onjuiste huisgenoot-lidmaatschappen
10 4 1 * * /usr/local/hobbynet/bin/huisgenoot_lidmaatschappen.sh >/dev/null

# Schoon mySQL en LDAP op
5 4 2 * * /usr/local/hobbynet/bin/schoon_alles_op.sh

# Verrijk een naar SFTP geupload factuur bestand met factuurtokens
15 * * * * /bin/bash /usr/local/hobbynet/bin/verrijk_factuur.sh >>/var/log/verrijk_factuur.log

# ruim sms database op
42 12 * * * cat /usr/local/hobbynet/bin/ruimsmsverstuurdsmsop.sql |mysql >/dev/null

# corigeer menu elke 4 uur
#42 */4 * * * /usr/local/hobbynet/bin/set_menu_joomla.sh >>/var/log/set_menu_joomla.log

</pre>

=Toepassingen=
Soms zijn er een aantal scripts die bij elkaar horen en er voor een bepaalde toepassing zijn, zoals om de mailserver te updaten, dagelijkse bestanden voor Kantoor te maken, dagelijkse bestanden voor het Tripolis mail systeem en niet geheel onbelangrijk, scripts die ldap dagelijks bijwerken met de '''master''' data die in het HCC CRM wordt bijgehouden (als er een mutatie gemist is, b.v. omdat een JSON aanroep vanuit het CRM naar de Hobbynet XML-RPC server overdag mislukt is).

==LDAP==
Drie scripts zijn essentieel om de hele LDAP database te dumpen, te initialiseren en weer te vullen. Dit proces is nodig als een schema change moet worden aangebracht in de LDAP configuratie. Zie ook de pagina over de LDAP server.
* '''dump_ldap.sh''' Dumpt alle ou's in afzonderlijke ldif bestanden in de data directory en maakt er ook een tarball van.
* '''init_ldap.sh <beheer-password>''' Bouwt de hele LDAP structuur van de grond af op.
* '''restore_ldap.sh''' Vult de hele LDAP structuur met file uit de dump_ldap stap.

==Statistieken==
Iedere nacht worden er door het script '''statistiek_xml.sh''' van alle groeperingen en van de complete HCC leden database statistieken in XML formaat gemaakt. Daarna worden deze statistieken met het script '''statistiek_xml.sh''' naar de kadernet server overgezet.

==Mailserver==
<strike>De mailserver kreeg tot voor kort 2 bestanden van scripting-int, husers en b3a.txt. De inhoud van beide bestanden kan ook uit ldap gehaald worden. Hiervoor zijn de volgende scripts in gebruik:</strike>
* <strike>'''gen_hobbyabon.php'''. Dit script maakt een equivalent aan van husers en bevat alleen de betalende Hobbynet abonnees (enige tientallen regels).</strike>
* <strike>'''gen_kaderfunc.php'''. Dit script is de vervanger van b3a.txt, de lijst van alle kaderfuncties (ongeveer 1200).</strike>
* <strike>'''gen_kaderlist.php'''. Een hulp bestand met alleen de 7 cijferige lidnummers van alle kaderleden (ruim 700). Deze lijst wordt op de mailserver gebruikt om incidenteel kadermailboxen op te ruimen.</strike>
* <strike>'''gen_mail_exclude_txt.php'''. Nog een hulp bestand waar in de interessegroepen staan die geen functionele mailadressen nodig hebben. Dit zijn vooral de ig's die geen echte ig zijn zoals de HCC zelf en de RvA en RvT maar wel als zodanig in ldap staan. Ook de cursus presentatoren vallen hieronder.</strike>
* '''upd_mailserver_report.sh'''. Dit script mailt de dagelijkse logs ter controle of alles goed is gegaan.
* '''upd_mailserver.sh'''. Bundelt de php scripts tot een cronjob die elke nacht loopt. Dit script draait de 4 php scripts, doet wat na bewerking, kopieert de output naar mail-lb1-int en start '''upd_mailserver_all''' op mail-lb1-int. Tenslotte worden nog de relay-domains opgehaald van mail-lb1-int (dat bestand is pas up-to-date nadat upd_mailserver_all op mail-lb1-int heeft gelopen).Hierna is mail-lb2 nog niet geheel up-to-date. Het script dat door ldap-lb1 is gestart, doet aan het eind een rsync van de datadir op mail-lb1 naar mail-lb2. Tenslotte start mail-lb1 een script op mail-lb2 om die ook up-to-date te maken. Dit is dus een drietraps systeem.

==Maandrapportage==
* '''gen_maand_rap.php'''. Verzamelt alle data van Hobbynet abonnees en alle andere users in ldap. Optie '''-m''' mailt naar de accounthouder in het ldap record. Sinds medio 2020 krijgen hcc groepering webmasters deze mail niet meer, omdat ze nu allemaal gebruik maken van een Joomla template site, en daar geen 'eigenaar' meer van zijn.
* <strike>'''gen_pc30_maand_rap.php'''. Mailt specifiek de gegevens van de PC30 agents naar de teamleider.</strike>
* '''run_maand_rapport.sh'''. Cronjob die bovenstaande scripts 1x per maand draait.

==Passwd, shadow en group==
<strike>
* gen_group_admin.php
* gen_group_code2.php
* gen_group_hcc.php
* gen_passwd_admin.php
* gen_passwd_code2.php
* gen_passwd_hcc.php
* gen_shadow_admin.php
* gen_shadow_code2.php
* gen_shadow_hcc.php
* upd_admin_accounts.sh (is er niet)
* upd_code2_accounts.sh
* upd_hcc_accounts.sh

Deze scripts genereren de passwd, shadow en group entries voor de betalende leden (_code2), de admins (_admin, de lagere goden, op het moment niet gebruikt; er is wel een .hobby met alleen Roel v.d. Bussche erin) en voor de HCC groeperingen (_hcc). De output wordt op de shared etc omgeving neergezet zodat elke (web)server ze kan toevoegen aan de passwd.temp/shadow.temp/group.temp files. Hiervoor wordt de lokale job upd_usr (of upd_hobby_only) gedraaid.
</strike>

==HCC Verenigingsbureau==
Het HCC Verenigingsbureau ('VB') heeft beschikking over een ledenlijst en een kader/kernledenlijst die dagelijks up-to-date zijn. Deze lijsten zijn in CSV formaat zodat men zelf in de hand heeft hoe het bestand gebruikt wordt. Ze worden dagelijks op de Hobbynet sftp server (dedicated server t.b.v. gebuik vanaf het VB) geplaatst.

Daarnaast krijgt VB iedere dag een actueel overzicht van de aantallen bezoekers (bezoekers statistiek).

* '''upload_kader_csv.sh''' de cronjob
* '''gen_kader_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_leden_csv.sh''' de cronjob
* '''gen_leden_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_bezoekersstatistiek.sh''' de cronjob
* '''gen_bezoekersstatistiek_csv.php''' het php script dat een bestand in CSV formaat maakt met de bezoekersstatistieken.

==CompUsers==
2020: VB heeft 'eigen' afspraken met CU gemaakt, en stuurt ze op eigen houtje zomaar ledenbestanden toe. Onze scripts zijn daarmee zinloos geworden.

<strike>Met CompUsers zijn speciale afspraken gemaakt door Kantoor in januari 2014. Zij krijgen een sterk verkorte lijst van ALLE leden voor hun administratie. Het streven is dit zo spoedig mogelijk te vervangen door een ander mechanisme zoals de partner check.

* '''upload_compusers_csv.sh''' de cronjob
* '''gen_compusers_csv.php''' het script dat een CSV maakt. Dit is een afgeslankt vorm van het '''gen_leden_csv.php''' script.</strike>

=Koppeling met Tripolis=
Het oude "popbull" systeem dat bij HenZ draait is in de zomer van 2013 vervangen door Tripolis. Tripolis wordt al jaren gebruikt door kantoor voor het versturen van Digizine en de Nieuwsflash. Per groepering wordt een account aangemaakt met beperkte rechten waar mee de Correspondent van de groepering mailings kan versturen. Om Tripolis en ldap in sync te houden wordt er elke nacht data uitgewisseld. Ldap is leidend in deze maar als mensen zich uitschrijven (opt-out) via de knop onder aan de mailing, moet dat doorgegeven worden aan ldap.

==Sync van Tripolis naar ldap==
* '''run_tripolis_import.sh''' de eigenlijke cronjob
* '''import_tripolis_csv.php''' vertaalt de CSV van opt-outs naar het wissen van de individuele optins.

Tripolis plaatst elke nacht om 00:01 een CSV bestand met de opt-outs per bulletin van de vorige dag. Dit gebeurt met datums. Als de datum van gisteren ingevuld staat is daar een optout geweest. Als er geen opt-outs zijn, bevat het veld slechts een lege string. Het bestand wordt naar de ldap server gehaald waar een aantal versies bewaard worden. De bestanden wordt verwijderd van de sftp omgeving. Vervolgens worden het gedownloade bestand verwerkt om bij het lid de hccOptIn van dit bulletin te verwijderen.

==Sync van ldap naar Tripolis==
* '''run_tripolis_export.sh''' de eigenlijk cronjob
* '''gen_ldap_bul_export.php''' maakt een volledige lijst aan van emailadres, lidnr en optins. Dit bestand gaat naar de sftp omgeving van Tripolis.
* '''gen_ldap_cor_export.php''' maakt een lijst van alle correspondenten voor kantoor. Dit bestand gaat naar de sftp omgeving van Kantoor.

Het export bestand wordt elke nacht (om 02:50) op de sftp omgeving voor Tripolis klaargezet. Tripolis haalt het om 05:00 op. Omdat de opt-outs van Tripolis om 02:15 verwerkt worden, is dit bestand dus al bijgewerkt voor wat betreft die opt-outs. Alle andere wijzigingen komen van de hcc.nl profielpagina's of mutaties door derden op ldap (mutaties door Hobbynet staff of PC30).

==Rapportage==
<strike>Om ook de ledenadministratie in te lichten over leden die een optout op één of meer Tripolis mailings hebben gedaan, wordt na het verwerken van de optouts een mail gestuurd naar ledenadministratie@hcc.nl. Elke dag is er een nieuwe log file maar die wordt door dezelfde cronjob aan een archive geplakt. Zie mail_tripolis_reports.sh.</strike>

Egbert laat zich iedere nacht een rapportage mail sturen, zie mail_tripolis_export_report.sh.

==Eénmalige jobs==
Er zijn een aantal php scripts voor éénmalig gebruik gemaakt. Deze worden niet in de cronjobs gebruikt maar waren slechts bedoeld om de lijsten opgeleverd door VB in LDAP te krijgen. Deze scripts zijn in de subdirectory '''popbull-specials''' geplaatst.
* '''import_digizine_csv.php''' de initiële Digizine lijst
* '''import_nieuwsflash_csv.php''' de initiële Nieuwsflash lijst
* '''import_popbull_csv.php''' de initiële lijst zoals die van HenZ (popbull provider) komt

=ISIZ enquête=
Op verzoek geschreven scripts voor eenmalig gebruik. Terug te vinden in in de '''enquete-specials''' subdirectory.
* '''gen_enquete_csv.php''' enquête per email
* '''gen_enquete_csv_no_mail.php''' enquête per post

=Nameserver=
* gen_mx_hcc.php
* gen_mx_hobby.php
* upd_nameserver.sh

=Firewall (op ldap servers)=
* gen_xml_fw_ip4.php
* gen_xml_fw_ip6.php
* sync_hobbynetfw.sh
* gen_fw.sh

LDAP scripting

2022-05-16T19:23:52Z

Egbert: /* Crontab */

=Inleiding=
Omdat de ldap server in sneltreinvaart de bron voor allerlei services aan het worden is, ontstaat er ook een migratie van (veelal perl) scripts op scripting-int naar php scripts op ldap-lb1-int. ldap-lb1-int is net als scripting-int een server met verhoogde security. Er mag dus wel '''van''' deze server '''naar''' andere servers geconnect worden maar niet andersom. Dit is vergelijkbaar met de situatie op scripting-int. Deze mogelijkheid is essentieel voor de goede werking van sommige scripts.

==Type scripts==
Er zijn globaal een aantal soorten scripts te onderscheiden:
* De eigenlijke scripts die een bepaalde taak uitvoeren en vaak naar stdout schrijven (.php soms geen extensie).
* De cronjob scripts. Gewoonlijk herkenbaar aan de '''.sh''' extensie. Deze scripts bundelen vaak meerdere php scripts tot complete oplossingen.
* Scripts die voor initialiseren en backuppen van de ldap directory nodig zijn ('''init_ldap, dump_ldap en restore_ldap'''). Behalve dump_ldap mogen deze scripts nooit zomaar gedraaid worden; de ldap directory zou vernield worden.

==Overzicht scripts==
<pre>
0_DIT_IS_EEN_LOCAL_DIR gen_passwd_code2.php LDAP_include_telefoon.php sync_hccforums.php
check_ms gen_passwd_hcc.php LDAP_lid_weg.php sync_hobbynetbin_2.sh
cron_joomla.php gen_shadow_admin.php LDAP_maak_hccOptOutTokens.php sync_hobbynetdata_2.sh
cron_joomla.sh gen_shadow_code2.php _LDAP_schoon_4045431_op.php sync_hobbynetetc_2.sh
database-onderhoud.sh gen_shadow_hcc.php LDAP_schoon_database.php sync_hobbynetfw_2.sh
dump_ldap.sh gen_xml_fw_ip4.php LDAP_schoon_mysql_op.php sync_hobbynetlib_2.sh
enquete-specials gen_xml_fw_ip6.php LDAP_schoon_testleden_op.php tel_unieke_bezoekers-volgens-LDAP_en_SQL.php
forum-specials get_all_mailbox_sizes.sh LDAP_vul_leden.php tel_unieke_bezoekers-volgens-LDAP.php
gen_bezoekersstatistiek_xml.php get_ip4 LDAP_vul_profielbekend.php tel_unieke_bezoekers-volgens-LDAP.sh
gen_compusers_csv.php get_ip6 mailman-specials test.php
gen_dmarc_hcc.php getip-http mail_tripolis_export_report.sh tripolis_import
gen_fw.sh hccforums_db.php optouts unblock_joomla.php
gen_group_admin.php hcc.nl.mx.fallback other-specials unblock_joomla.sh
gen_group_code2.php huisgenoot_lidmaatschappen.php popbull-specials update_domeinen.php
gen_group_hcc.php huisgenoot_lidmaatschappen.sh postcode-specials update_domeinen.sh
gen_hobbyabon.php init_ldap_mdb.sh purge_hccforums.php update_hccforums.sh
gen_iplist_partners.php init_ldap.sh renameusers_joomla.php update_joomla.php
gen_iplist_partners.sh kader_maak_html.php renameusers_joomla.sh update_joomla.sh
gen_kader_csv.php kader_maak_lijsten.sh restore_ldap.sh upd_code2_accounts.sh
gen_kaderfunc.php kader_maak_txt.php rss_joomla.php upd_hcc_accounts.sh
gen_kaderlist.php kader_maak_xb_csv.php rss_joomla.sh upd_ldap_dev.sh
gen_ldap_bul_export.php LDAP_bepaal_startconditie.php ruim_lock_files_op.sh upd_ldap-test-dev.expect
gen_ldap_cor_export.php ldap.conf.ldif ruim_pdf_facturen_op.sh upd_ldap_test.sh
gen_ldap_hoofdbestuur_export.php LDAP_controleer_groeperingen.php ruimsmsverstuurdsmsop.sql upd_mailserver_report.sh
gen_ldap_kader_export.php LDAP_controleer_kader.php run_maand_rapport.sh upd_mailserver.sh
gen_ldap_ledenraad_export.php LDAP_controleer_users.php run_tripolis_export.sh upd_nameserver.sh
gen_ldap_niet_leden_export.php LDAP_copyright.txt schoon_alles_op_include.php upd_srv
gen_leden_csv.php LDAP_cronjob.sh schoon_alles_op.sh upg_vmware_tools
gen_leden_dubbel.log LDAP_forceer_CSV.sh schoon_breg_token_tabel_op.php upload_bezoekersstatistiek.sh
gen_leden_dubbel.php LDAP_ftps_lget_CRM_leden.sh schoon_forms_database_op.php upload_compusers_csv.sh
gen_maand_rap.php LDAP_herstel_profielbekend.php schoon_JoomlaTokens_tabel_op.php upload_kader_csv.sh
gen_mail_exclude_txt.php LDAP_include_henz.php schoon_LDAP_en_hcc_Bezoek_op.php upload_leden_csv.sh
gen_mx_hcc-fallback.php LDAP_include_ISO.php set_menu_joomla.sh vergelijk_scripts.readme
gen_mx_hcc.php LDAP_include_Joomla_db.php set_menu.php verrijk_factuur.php
gen_mx_hobby.php LDAP_include_mail.php statistiek_xml.php verrijk_factuur.sh
gen_passwd_admin.php LDAP_include.php statistiek_xml.sh
</pre>

==Crontab==
<pre>
##############################################################################################################
# Wijzigingen graag ook aanbrengen op deze wiki pagina: https://wiki.hobby.nl/index.php?title=LDAP_scripting #
##############################################################################################################

# Edit this file to introduce tasks to be run by cron.
#
# Each task to run has to be defined through a single line
# indicating with different fields when the task will be run
# and what command to run for the task
#
# To define the time you can provide concrete values for
# minute (m), hour (h), day of month (dom), month (mon),
# and day of week (dow) or use '*' in these fields (for 'any').#
# Notice that tasks will be started based on the cron's system
# daemon's notion of time and timezones.
#
# Output of the crontab jobs (including errors) is sent through
# email to the user the crontab file belongs to (unless redirected).
#
# For example, you can run a backup of all your user accounts
# at 5 a.m every week with:
# 0 5 * * 1 tar -zcf /var/backups/home.tgz /home/
#
# For more information see the manual pages of crontab(5) and cron(8)
#
# m h dom mon dow command

# Update rssfeeds joomla
1 */1 * * * /usr/local/hobbynet/bin/rss_joomla.sh >>/var/log/rss_joomla.log

# Synchroniseer firewall regels van ldap-lb1 naar ldap-lb2
55 5 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 11 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 17 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 23 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh

# Herstart Firewall
0 6 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 12 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 18 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 0 * * * /etc/init.d/hobby-firewall restart >/dev/null

# Check op updates en download deze alvast ivm Nagios detectie
0 6 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null
0 18 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null

# Maak een beveiligde backup
45 23 * * * /usr/local/hobbynet/local/backup-encrypted.bash >>/var/log/backup_encrypted.log

# Sync bin dir naar ldap-lb2
50 23 * * * /usr/local/hobbynet/bin/sync_hobbynetbin_2.sh
# Sync etc dir naar ldap-lb2
51 23 * * * /usr/local/hobbynet/bin/sync_hobbynetetc_2.sh
# Sync lib dir naar ldap-lb2
52 23 * * * /usr/local/hobbynet/bin/sync_hobbynetlib_2.sh

# Voer de cron_joomla.sh cronjob uit voor de bit backup
01 0 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Voer de cron_joomla.sh cronjob uit voor 'update_joomla.sh'
15 1 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Forceer dat er een verse set CSV bestanden klaar wordt gezet
05 3 * * * /usr/local/hobbynet/bin/LDAP_forceer_CSV.sh >/dev/null

# Doe alle processing CRM->LDAP
10 3 * * * /usr/local/hobbynet/bin/LDAP_cronjob.sh >>/var/log/LDAP_cronjob.log

# Maak /usr/local/hobbynet/apache2conf/iplists/iplist-partners-24 aan
7 3 * * * /usr/local/hobbynet/bin/gen_iplist_partners.sh

# Ververs postfixadmin op mail-lb1 en mail-lb2. Mail report
26 3 * * * /usr/local/hobbynet/bin/upd_mailserver.sh >/var/log/upd_mailserver.log
30 3 * * * /usr/local/hobbynet/bin/upd_mailserver_report.sh

# Haal de opt-outs op van Tripolis
### disabled 20220516
###15 3 * * * /usr/local/hobbynet/bin/run_tripolis_import.sh >/var/log/run_tripolis_import.log

# Haal de handmatige Tripolis opt-outs op, en mail die naar Egbert
### disabled 20220516
###31 3 * * * /usr/local/hobbynet/bin/mail_tripolis_import_report.sh

# Maak en plaats de ledenlijst voor Kantoor
35 3 * * * /usr/local/hobbynet/bin/upload_leden_csv.sh >/dev/null

# Maak en plaats de kaderlijst voor Kantoor
40 3 * * * /usr/local/hobbynet/bin/upload_kader_csv.sh >/dev/null

# Deblokkeer actieve joomla gebruikers
45 3 * * * /usr/local/hobbynet/bin/unblock_joomla.sh >>/var/log/unblock_joomla.log

# Haal de aantallen bezoekers, en zet die over naar de beschermde kantoor omgeving
47 3 * * * /usr/local/hobbynet/bin/upload_bezoekersstatistiek.sh >/dev/null

# Maak overzicht van alle opt-ins voor Tripolis
50 3 * * * /usr/local/hobbynet/bin/run_tripolis_export.sh >/var/log/run_tripolis_export.log

# Hernoem in Joomla de users die zijn hernoemd in ldap
50 3 * * * /usr/local/hobbynet/bin/renameusers_joomla.sh >>/var/log/renameusers_joomla.log

# Haal het resultaat van de Tripolis export op, en mail die naar Egbert
52 3 * * * /usr/local/hobbynet/bin/mail_tripolis_export_report.sh

# Maak en plaats statistiek overzicht van alle HCC groeperingen
55 3 * * * /usr/local/hobbynet/bin/statistiek_xml.sh >/dev/null

# Start joomla onderhoud
0 4 * * * /usr/local/hobbynet/bin/update_joomla.sh >>/var/log/update_joomla.log

# Doe de Hobbynet maand rapportage
0 4 1 * * /usr/local/hobbynet/bin/run_maand_rapport.sh >/dev/null

# Bepaal het aantal unieke (en totaal aantal) bezoekers van de laatste 12 maanden, mail dat aan VB
5 4 1 * * /usr/local/hobbynet/bin/tel_unieke_bezoekers-volgens-LDAP.sh >/dev/null

# Maak een lijst van onjuiste huisgenoot-lidmaatschappen
10 4 1 * * /usr/local/hobbynet/bin/huisgenoot_lidmaatschappen.sh >/dev/null

# Schoon mySQL en LDAP op
5 4 2 * * /usr/local/hobbynet/bin/schoon_alles_op.sh

# Verrijk een naar SFTP geupload factuur bestand met factuurtokens
15 * * * * /bin/bash /usr/local/hobbynet/bin/verrijk_factuur.sh >>/var/log/verrijk_factuur.log

# ruim sms database op
42 12 * * * cat /usr/local/hobbynet/bin/ruimsmsverstuurdsmsop.sql |mysql >/dev/null

# corigeer menu elke 4 uur
#42 */4 * * * /usr/local/hobbynet/bin/set_menu_joomla.sh >>/var/log/set_menu_joomla.log

</pre>

=Toepassingen=
Soms zijn er een aantal scripts die bij elkaar horen en er voor een bepaalde toepassing zijn, zoals om de mailserver te updaten, dagelijkse bestanden voor Kantoor te maken, dagelijkse bestanden voor het Tripolis mail systeem en niet geheel onbelangrijk, scripts die ldap dagelijks bijwerken met de '''master''' data die in het HCC CRM wordt bijgehouden (als er een mutatie gemist is, b.v. omdat een JSON aanroep vanuit het CRM naar de Hobbynet XML-RPC server overdag mislukt is).

==LDAP==
Drie scripts zijn essentieel om de hele LDAP database te dumpen, te initialiseren en weer te vullen. Dit proces is nodig als een schema change moet worden aangebracht in de LDAP configuratie. Zie ook de pagina over de LDAP server.
* '''dump_ldap.sh''' Dumpt alle ou's in afzonderlijke ldif bestanden in de data directory en maakt er ook een tarball van.
* '''init_ldap.sh <beheer-password>''' Bouwt de hele LDAP structuur van de grond af op.
* '''restore_ldap.sh''' Vult de hele LDAP structuur met file uit de dump_ldap stap.

==Statistieken==
Iedere nacht worden er door het script '''statistiek_xml.sh''' van alle groeperingen en van de complete HCC leden database statistieken in XML formaat gemaakt. Daarna worden deze statistieken met het script '''statistiek_xml.sh''' naar de kadernet server overgezet.

==Mailserver==
<strike>De mailserver kreeg tot voor kort 2 bestanden van scripting-int, husers en b3a.txt. De inhoud van beide bestanden kan ook uit ldap gehaald worden. Hiervoor zijn de volgende scripts in gebruik:</strike>
* <strike>'''gen_hobbyabon.php'''. Dit script maakt een equivalent aan van husers en bevat alleen de betalende Hobbynet abonnees (enige tientallen regels).</strike>
* <strike>'''gen_kaderfunc.php'''. Dit script is de vervanger van b3a.txt, de lijst van alle kaderfuncties (ongeveer 1200).</strike>
* <strike>'''gen_kaderlist.php'''. Een hulp bestand met alleen de 7 cijferige lidnummers van alle kaderleden (ruim 700). Deze lijst wordt op de mailserver gebruikt om incidenteel kadermailboxen op te ruimen.</strike>
* <strike>'''gen_mail_exclude_txt.php'''. Nog een hulp bestand waar in de interessegroepen staan die geen functionele mailadressen nodig hebben. Dit zijn vooral de ig's die geen echte ig zijn zoals de HCC zelf en de RvA en RvT maar wel als zodanig in ldap staan. Ook de cursus presentatoren vallen hieronder.</strike>
* '''upd_mailserver_report.sh'''. Dit script mailt de dagelijkse logs ter controle of alles goed is gegaan.
* '''upd_mailserver.sh'''. Bundelt de php scripts tot een cronjob die elke nacht loopt. Dit script draait de 4 php scripts, doet wat na bewerking, kopieert de output naar mail-lb1-int en start '''upd_mailserver_all''' op mail-lb1-int. Tenslotte worden nog de relay-domains opgehaald van mail-lb1-int (dat bestand is pas up-to-date nadat upd_mailserver_all op mail-lb1-int heeft gelopen).Hierna is mail-lb2 nog niet geheel up-to-date. Het script dat door ldap-lb1 is gestart, doet aan het eind een rsync van de datadir op mail-lb1 naar mail-lb2. Tenslotte start mail-lb1 een script op mail-lb2 om die ook up-to-date te maken. Dit is dus een drietraps systeem.

==Mailman==
<strike>Omdat ter zijner tijd een aantal Mailman mailinglijsten naar Tripolis gaan, is een script gemaakt om de Mailman info over de abonnees op te halen. Om aan die summiere gegevens te herkennen of iemand lid of niet-lid is een php script gemaakt (te vinden in mailman-specials).</strike>
* <strike>'''import_mailman_lists.sh''' Haalt de abonnee gegevens op. Er is een aanroep in dit script van een script op de mailserver. Dat script maakt bestanden aan met zinvolle namen. Die worden opgehaald en worden in de lokale data (sub)directory geplaatst.</strike>
* <strike>'''import_mailman_csv.php''' Leest alle opgehaalde bestanden in de lokale data (sub)directory, maakt zo nodig niet-leden aan en plaatst '''optins''' voor de locatie bulletins bij de leden en de niet-leden. Het bepalen van lid of niet-lid gebeurt puur op email adres. Als een lid op een mailinglist staat meteen adres dat '''niet''' in zijn record in LDAP staat, wordt er een niet-lid record aangemaakt! Het netto effect is dat dit lid het bulletin dubbbel zal ontvangen.</strike>

==Maandrapportage==
* '''gen_maand_rap.php'''. Verzamelt alle data van Hobbynet abonnees en alle andere users in ldap. Optie '''-m''' mailt naar de accounthouder in het ldap record. Sinds medio 2020 krijgen hcc groepering webmasters deze mail niet meer, omdat ze nu allemaal gebruik maken van een Joomla template site, en daar geen 'eigenaar' meer van zijn.
* <strike>'''gen_pc30_maand_rap.php'''. Mailt specifiek de gegevens van de PC30 agents naar de teamleider.</strike>
* '''run_maand_rapport.sh'''. Cronjob die bovenstaande scripts 1x per maand draait.

==Passwd, shadow en group==
<strike>
* gen_group_admin.php
* gen_group_code2.php
* gen_group_hcc.php
* gen_passwd_admin.php
* gen_passwd_code2.php
* gen_passwd_hcc.php
* gen_shadow_admin.php
* gen_shadow_code2.php
* gen_shadow_hcc.php
* upd_admin_accounts.sh (is er niet)
* upd_code2_accounts.sh
* upd_hcc_accounts.sh

Deze scripts genereren de passwd, shadow en group entries voor de betalende leden (_code2), de admins (_admin, de lagere goden, op het moment niet gebruikt; er is wel een .hobby met alleen Roel v.d. Bussche erin) en voor de HCC groeperingen (_hcc). De output wordt op de shared etc omgeving neergezet zodat elke (web)server ze kan toevoegen aan de passwd.temp/shadow.temp/group.temp files. Hiervoor wordt de lokale job upd_usr (of upd_hobby_only) gedraaid.
</strike>

==HCC Verenigingsbureau==
Het HCC Verenigingsbureau ('VB') heeft beschikking over een ledenlijst en een kader/kernledenlijst die dagelijks up-to-date zijn. Deze lijsten zijn in CSV formaat zodat men zelf in de hand heeft hoe het bestand gebruikt wordt. Ze worden dagelijks op de Hobbynet sftp server (dedicated server t.b.v. gebuik vanaf het VB) geplaatst.

Daarnaast krijgt VB iedere dag een actueel overzicht van de aantallen bezoekers (bezoekers statistiek).

* '''upload_kader_csv.sh''' de cronjob
* '''gen_kader_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_leden_csv.sh''' de cronjob
* '''gen_leden_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_bezoekersstatistiek.sh''' de cronjob
* '''gen_bezoekersstatistiek_csv.php''' het php script dat een bestand in CSV formaat maakt met de bezoekersstatistieken.

==CompUsers==
2020: VB heeft 'eigen' afspraken met CU gemaakt, en stuurt ze op eigen houtje zomaar ledenbestanden toe. Onze scripts zijn daarmee zinloos geworden.

<strike>Met CompUsers zijn speciale afspraken gemaakt door Kantoor in januari 2014. Zij krijgen een sterk verkorte lijst van ALLE leden voor hun administratie. Het streven is dit zo spoedig mogelijk te vervangen door een ander mechanisme zoals de partner check.

* '''upload_compusers_csv.sh''' de cronjob
* '''gen_compusers_csv.php''' het script dat een CSV maakt. Dit is een afgeslankt vorm van het '''gen_leden_csv.php''' script.</strike>

=Koppeling met Tripolis=
Het oude "popbull" systeem dat bij HenZ draait is in de zomer van 2013 vervangen door Tripolis. Tripolis wordt al jaren gebruikt door kantoor voor het versturen van Digizine en de Nieuwsflash. Per groepering wordt een account aangemaakt met beperkte rechten waar mee de Correspondent van de groepering mailings kan versturen. Om Tripolis en ldap in sync te houden wordt er elke nacht data uitgewisseld. Ldap is leidend in deze maar als mensen zich uitschrijven (opt-out) via de knop onder aan de mailing, moet dat doorgegeven worden aan ldap.

==Sync van Tripolis naar ldap==
* '''run_tripolis_import.sh''' de eigenlijke cronjob
* '''import_tripolis_csv.php''' vertaalt de CSV van opt-outs naar het wissen van de individuele optins.

Tripolis plaatst elke nacht om 00:01 een CSV bestand met de opt-outs per bulletin van de vorige dag. Dit gebeurt met datums. Als de datum van gisteren ingevuld staat is daar een optout geweest. Als er geen opt-outs zijn, bevat het veld slechts een lege string. Het bestand wordt naar de ldap server gehaald waar een aantal versies bewaard worden. De bestanden wordt verwijderd van de sftp omgeving. Vervolgens worden het gedownloade bestand verwerkt om bij het lid de hccOptIn van dit bulletin te verwijderen.

==Sync van ldap naar Tripolis==
* '''run_tripolis_export.sh''' de eigenlijk cronjob
* '''gen_ldap_bul_export.php''' maakt een volledige lijst aan van emailadres, lidnr en optins. Dit bestand gaat naar de sftp omgeving van Tripolis.
* '''gen_ldap_cor_export.php''' maakt een lijst van alle correspondenten voor kantoor. Dit bestand gaat naar de sftp omgeving van Kantoor.

Het export bestand wordt elke nacht (om 02:50) op de sftp omgeving voor Tripolis klaargezet. Tripolis haalt het om 05:00 op. Omdat de opt-outs van Tripolis om 02:15 verwerkt worden, is dit bestand dus al bijgewerkt voor wat betreft die opt-outs. Alle andere wijzigingen komen van de hcc.nl profielpagina's of mutaties door derden op ldap (mutaties door Hobbynet staff of PC30).

==Rapportage==
<strike>Om ook de ledenadministratie in te lichten over leden die een optout op één of meer Tripolis mailings hebben gedaan, wordt na het verwerken van de optouts een mail gestuurd naar ledenadministratie@hcc.nl. Elke dag is er een nieuwe log file maar die wordt door dezelfde cronjob aan een archive geplakt. Zie mail_tripolis_reports.sh.</strike>

Egbert laat zich iedere nacht een rapportage mail sturen, zie mail_tripolis_export_report.sh.

==Eénmalige jobs==
Er zijn een aantal php scripts voor éénmalig gebruik gemaakt. Deze worden niet in de cronjobs gebruikt maar waren slechts bedoeld om de lijsten opgeleverd door VB in LDAP te krijgen. Deze scripts zijn in de subdirectory '''popbull-specials''' geplaatst.
* '''import_digizine_csv.php''' de initiële Digizine lijst
* '''import_nieuwsflash_csv.php''' de initiële Nieuwsflash lijst
* '''import_popbull_csv.php''' de initiële lijst zoals die van HenZ (popbull provider) komt

=ISIZ enquête=
Op verzoek geschreven scripts voor eenmalig gebruik. Terug te vinden in in de '''enquete-specials''' subdirectory.
* '''gen_enquete_csv.php''' enquête per email
* '''gen_enquete_csv_no_mail.php''' enquête per post

=Nameserver=
* gen_mx_hcc.php
* gen_mx_hobby.php
* upd_nameserver.sh

=Firewall (op ldap servers)=
* gen_xml_fw_ip4.php
* gen_xml_fw_ip6.php
* sync_hobbynetfw.sh
* gen_fw.sh

LDAP scripting

2022-05-16T19:22:05Z

Egbert: /* Overzicht scripts */

=Inleiding=
Omdat de ldap server in sneltreinvaart de bron voor allerlei services aan het worden is, ontstaat er ook een migratie van (veelal perl) scripts op scripting-int naar php scripts op ldap-lb1-int. ldap-lb1-int is net als scripting-int een server met verhoogde security. Er mag dus wel '''van''' deze server '''naar''' andere servers geconnect worden maar niet andersom. Dit is vergelijkbaar met de situatie op scripting-int. Deze mogelijkheid is essentieel voor de goede werking van sommige scripts.

==Type scripts==
Er zijn globaal een aantal soorten scripts te onderscheiden:
* De eigenlijke scripts die een bepaalde taak uitvoeren en vaak naar stdout schrijven (.php soms geen extensie).
* De cronjob scripts. Gewoonlijk herkenbaar aan de '''.sh''' extensie. Deze scripts bundelen vaak meerdere php scripts tot complete oplossingen.
* Scripts die voor initialiseren en backuppen van de ldap directory nodig zijn ('''init_ldap, dump_ldap en restore_ldap'''). Behalve dump_ldap mogen deze scripts nooit zomaar gedraaid worden; de ldap directory zou vernield worden.

==Overzicht scripts==
<pre>
0_DIT_IS_EEN_LOCAL_DIR gen_passwd_code2.php LDAP_include_telefoon.php sync_hccforums.php
check_ms gen_passwd_hcc.php LDAP_lid_weg.php sync_hobbynetbin_2.sh
cron_joomla.php gen_shadow_admin.php LDAP_maak_hccOptOutTokens.php sync_hobbynetdata_2.sh
cron_joomla.sh gen_shadow_code2.php _LDAP_schoon_4045431_op.php sync_hobbynetetc_2.sh
database-onderhoud.sh gen_shadow_hcc.php LDAP_schoon_database.php sync_hobbynetfw_2.sh
dump_ldap.sh gen_xml_fw_ip4.php LDAP_schoon_mysql_op.php sync_hobbynetlib_2.sh
enquete-specials gen_xml_fw_ip6.php LDAP_schoon_testleden_op.php tel_unieke_bezoekers-volgens-LDAP_en_SQL.php
forum-specials get_all_mailbox_sizes.sh LDAP_vul_leden.php tel_unieke_bezoekers-volgens-LDAP.php
gen_bezoekersstatistiek_xml.php get_ip4 LDAP_vul_profielbekend.php tel_unieke_bezoekers-volgens-LDAP.sh
gen_compusers_csv.php get_ip6 mailman-specials test.php
gen_dmarc_hcc.php getip-http mail_tripolis_export_report.sh tripolis_import
gen_fw.sh hccforums_db.php optouts unblock_joomla.php
gen_group_admin.php hcc.nl.mx.fallback other-specials unblock_joomla.sh
gen_group_code2.php huisgenoot_lidmaatschappen.php popbull-specials update_domeinen.php
gen_group_hcc.php huisgenoot_lidmaatschappen.sh postcode-specials update_domeinen.sh
gen_hobbyabon.php init_ldap_mdb.sh purge_hccforums.php update_hccforums.sh
gen_iplist_partners.php init_ldap.sh renameusers_joomla.php update_joomla.php
gen_iplist_partners.sh kader_maak_html.php renameusers_joomla.sh update_joomla.sh
gen_kader_csv.php kader_maak_lijsten.sh restore_ldap.sh upd_code2_accounts.sh
gen_kaderfunc.php kader_maak_txt.php rss_joomla.php upd_hcc_accounts.sh
gen_kaderlist.php kader_maak_xb_csv.php rss_joomla.sh upd_ldap_dev.sh
gen_ldap_bul_export.php LDAP_bepaal_startconditie.php ruim_lock_files_op.sh upd_ldap-test-dev.expect
gen_ldap_cor_export.php ldap.conf.ldif ruim_pdf_facturen_op.sh upd_ldap_test.sh
gen_ldap_hoofdbestuur_export.php LDAP_controleer_groeperingen.php ruimsmsverstuurdsmsop.sql upd_mailserver_report.sh
gen_ldap_kader_export.php LDAP_controleer_kader.php run_maand_rapport.sh upd_mailserver.sh
gen_ldap_ledenraad_export.php LDAP_controleer_users.php run_tripolis_export.sh upd_nameserver.sh
gen_ldap_niet_leden_export.php LDAP_copyright.txt schoon_alles_op_include.php upd_srv
gen_leden_csv.php LDAP_cronjob.sh schoon_alles_op.sh upg_vmware_tools
gen_leden_dubbel.log LDAP_forceer_CSV.sh schoon_breg_token_tabel_op.php upload_bezoekersstatistiek.sh
gen_leden_dubbel.php LDAP_ftps_lget_CRM_leden.sh schoon_forms_database_op.php upload_compusers_csv.sh
gen_maand_rap.php LDAP_herstel_profielbekend.php schoon_JoomlaTokens_tabel_op.php upload_kader_csv.sh
gen_mail_exclude_txt.php LDAP_include_henz.php schoon_LDAP_en_hcc_Bezoek_op.php upload_leden_csv.sh
gen_mx_hcc-fallback.php LDAP_include_ISO.php set_menu_joomla.sh vergelijk_scripts.readme
gen_mx_hcc.php LDAP_include_Joomla_db.php set_menu.php verrijk_factuur.php
gen_mx_hobby.php LDAP_include_mail.php statistiek_xml.php verrijk_factuur.sh
gen_passwd_admin.php LDAP_include.php statistiek_xml.sh
</pre>

==Crontab==
<pre>
# For more information see the manual pages of crontab(5) and cron(8)
##############################################################################################################
# Wijzigingen graag ook aanbrengen op deze wiki pagina: https://wiki.hobby.nl/index.php?title=LDAP_scripting #
##############################################################################################################
# m h dom mon dow command

# Update rssfeeds joomla
1 */1 * * * /usr/local/hobbynet/bin/rss_joomla.sh >>/var/log/rss_joomla.log

# Synchroniseer firewall regels van ldap-lb1 naar ldap-lb2
55 5 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 11 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 17 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh
55 23 * * * /usr/local/hobbynet/bin/sync_hobbynetfw_2.sh

# Herstart Firewall
0 6 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 12 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 18 * * * /etc/init.d/hobby-firewall restart >/dev/null
0 0 * * * /etc/init.d/hobby-firewall restart >/dev/null

# Check op updates en download deze alvast ivm Nagios detectie
0 6 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null
0 18 * * * apt-get clean -y >/dev/null ; apt-get update >/dev/null ;apt-get upgrade -d -y >/dev/null

# Maak een beveiligde backup
45 23 * * * /usr/local/hobbynet/local/backup-encrypted.bash >>/var/log/backup_encrypted.log

# Sync bin dir naar ldap-lb2
50 23 * * * /usr/local/hobbynet/bin/sync_hobbynetbin_2.sh
# Sync etc dir naar ldap-lb2
51 23 * * * /usr/local/hobbynet/bin/sync_hobbynetetc_2.sh
# Sync lib dir naar ldap-lb2
52 23 * * * /usr/local/hobbynet/bin/sync_hobbynetlib_2.sh

# Voer de cron_joomla.sh cronjob uit voor de bit backup
01 0 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Voer de cron_joomla.sh cronjob uit voor 'update_joomla.sh'
15 1 * * * /usr/local/hobbynet/bin/cron_joomla.sh >>/var/log/cron_joomla.log

# Forceer dat er een verse set CSV bestanden klaar wordt gezet
05 3 * * * /usr/local/hobbynet/bin/LDAP_forceer_CSV.sh >/dev/null

# Doe alle processing CRM->LDAP
10 3 * * * /usr/local/hobbynet/bin/LDAP_cronjob.sh >>/var/log/LDAP_cronjob.log

# Maak /usr/local/hobbynet/apache2conf/iplists/iplist-partners-24 aan
7 3 * * * /usr/local/hobbynet/bin/gen_iplist_partners.sh

# Ververs postfixadmin op mail-lb1 en mail-lb2. Mail report
26 3 * * * /usr/local/hobbynet/bin/upd_mailserver.sh >/var/log/upd_mailserver.log
30 3 * * * /usr/local/hobbynet/bin/upd_mailserver_report.sh

# Haal de opt-outs op van Tripolis
15 3 * * * /usr/local/hobbynet/bin/run_tripolis_import.sh >/var/log/run_tripolis_import.log

# Haal de handmatige Tripolis opt-outs op, en mail die naar Egbert
31 3 * * * /usr/local/hobbynet/bin/mail_tripolis_import_report.sh

# Maak en plaats de ledenlijst voor Kantoor
35 3 * * * /usr/local/hobbynet/bin/upload_leden_csv.sh >/dev/null

# Maak en plaats de kaderlijst voor Kantoor
40 3 * * * /usr/local/hobbynet/bin/upload_kader_csv.sh >/dev/null

# Deblokkeer actieve joomla gebruikers
45 3 * * * /usr/local/hobbynet/bin/unblock_joomla.sh >>/var/log/unblock_joomla.log

# Haal de aantallen bezoekers, en zet die over naar de beschermde kantoor omgeving
47 3 * * * /usr/local/hobbynet/bin/upload_bezoekersstatistiek.sh >/dev/null

# Maak overzicht van alle opt-ins voor Tripolis
50 3 * * * /usr/local/hobbynet/bin/run_tripolis_export.sh >/var/log/run_tripolis_export.log

# Hernoem in Joomla de users die zijn hernoemd in ldap
50 3 * * * /usr/local/hobbynet/bin/renameusers_joomla.sh >>/var/log/renameusers_joomla.log

# Haal het resultaat van de Tripolis export op, en mail die naar Egbert
52 3 * * * /usr/local/hobbynet/bin/mail_tripolis_export_report.sh

# Maak en plaats statistiek overzicht van alle HCC groeperingen
55 3 * * * /usr/local/hobbynet/bin/statistiek_xml.sh >/dev/null

# Start joomla onderhoud
0 4 * * * /usr/local/hobbynet/bin/update_joomla.sh >>/var/log/update_joomla.log

# Doe de Hobbynet maand rapportage
0 4 1 * * /usr/local/hobbynet/bin/run_maand_rapport.sh >/dev/null

# Bepaal het aantal unieke (en totaal aantal) bezoekers van de laatste 12 maanden, mail dat aan VB
5 4 1 * * /usr/local/hobbynet/bin/tel_unieke_bezoekers-volgens-LDAP.sh >/dev/null

# Maak een lijst van onjuiste huisgenoot-lidmaatschappen
10 4 1 * * /usr/local/hobbynet/bin/huisgenoot_lidmaatschappen.sh >/dev/null

# Schoon mySQL en LDAP op
5 4 2 * * /usr/local/hobbynet/bin/schoon_alles_op.sh

# Verrijk een naar SFTP geupload factuur bestand met factuurtokens
15 * * * * /bin/bash /usr/local/hobbynet/bin/verrijk_factuur.sh >>/var/log/verrijk_factuur.log

# ruim sms database op
42 12 * * * cat /usr/local/hobbynet/bin/ruimsmsverstuurdsmsop.sql |mysql >/dev/null
</pre>

=Toepassingen=
Soms zijn er een aantal scripts die bij elkaar horen en er voor een bepaalde toepassing zijn, zoals om de mailserver te updaten, dagelijkse bestanden voor Kantoor te maken, dagelijkse bestanden voor het Tripolis mail systeem en niet geheel onbelangrijk, scripts die ldap dagelijks bijwerken met de '''master''' data die in het HCC CRM wordt bijgehouden (als er een mutatie gemist is, b.v. omdat een JSON aanroep vanuit het CRM naar de Hobbynet XML-RPC server overdag mislukt is).

==LDAP==
Drie scripts zijn essentieel om de hele LDAP database te dumpen, te initialiseren en weer te vullen. Dit proces is nodig als een schema change moet worden aangebracht in de LDAP configuratie. Zie ook de pagina over de LDAP server.
* '''dump_ldap.sh''' Dumpt alle ou's in afzonderlijke ldif bestanden in de data directory en maakt er ook een tarball van.
* '''init_ldap.sh <beheer-password>''' Bouwt de hele LDAP structuur van de grond af op.
* '''restore_ldap.sh''' Vult de hele LDAP structuur met file uit de dump_ldap stap.

==Statistieken==
Iedere nacht worden er door het script '''statistiek_xml.sh''' van alle groeperingen en van de complete HCC leden database statistieken in XML formaat gemaakt. Daarna worden deze statistieken met het script '''statistiek_xml.sh''' naar de kadernet server overgezet.

==Mailserver==
<strike>De mailserver kreeg tot voor kort 2 bestanden van scripting-int, husers en b3a.txt. De inhoud van beide bestanden kan ook uit ldap gehaald worden. Hiervoor zijn de volgende scripts in gebruik:</strike>
* <strike>'''gen_hobbyabon.php'''. Dit script maakt een equivalent aan van husers en bevat alleen de betalende Hobbynet abonnees (enige tientallen regels).</strike>
* <strike>'''gen_kaderfunc.php'''. Dit script is de vervanger van b3a.txt, de lijst van alle kaderfuncties (ongeveer 1200).</strike>
* <strike>'''gen_kaderlist.php'''. Een hulp bestand met alleen de 7 cijferige lidnummers van alle kaderleden (ruim 700). Deze lijst wordt op de mailserver gebruikt om incidenteel kadermailboxen op te ruimen.</strike>
* <strike>'''gen_mail_exclude_txt.php'''. Nog een hulp bestand waar in de interessegroepen staan die geen functionele mailadressen nodig hebben. Dit zijn vooral de ig's die geen echte ig zijn zoals de HCC zelf en de RvA en RvT maar wel als zodanig in ldap staan. Ook de cursus presentatoren vallen hieronder.</strike>
* '''upd_mailserver_report.sh'''. Dit script mailt de dagelijkse logs ter controle of alles goed is gegaan.
* '''upd_mailserver.sh'''. Bundelt de php scripts tot een cronjob die elke nacht loopt. Dit script draait de 4 php scripts, doet wat na bewerking, kopieert de output naar mail-lb1-int en start '''upd_mailserver_all''' op mail-lb1-int. Tenslotte worden nog de relay-domains opgehaald van mail-lb1-int (dat bestand is pas up-to-date nadat upd_mailserver_all op mail-lb1-int heeft gelopen).Hierna is mail-lb2 nog niet geheel up-to-date. Het script dat door ldap-lb1 is gestart, doet aan het eind een rsync van de datadir op mail-lb1 naar mail-lb2. Tenslotte start mail-lb1 een script op mail-lb2 om die ook up-to-date te maken. Dit is dus een drietraps systeem.

==Mailman==
<strike>Omdat ter zijner tijd een aantal Mailman mailinglijsten naar Tripolis gaan, is een script gemaakt om de Mailman info over de abonnees op te halen. Om aan die summiere gegevens te herkennen of iemand lid of niet-lid is een php script gemaakt (te vinden in mailman-specials).</strike>
* <strike>'''import_mailman_lists.sh''' Haalt de abonnee gegevens op. Er is een aanroep in dit script van een script op de mailserver. Dat script maakt bestanden aan met zinvolle namen. Die worden opgehaald en worden in de lokale data (sub)directory geplaatst.</strike>
* <strike>'''import_mailman_csv.php''' Leest alle opgehaalde bestanden in de lokale data (sub)directory, maakt zo nodig niet-leden aan en plaatst '''optins''' voor de locatie bulletins bij de leden en de niet-leden. Het bepalen van lid of niet-lid gebeurt puur op email adres. Als een lid op een mailinglist staat meteen adres dat '''niet''' in zijn record in LDAP staat, wordt er een niet-lid record aangemaakt! Het netto effect is dat dit lid het bulletin dubbbel zal ontvangen.</strike>

==Maandrapportage==
* '''gen_maand_rap.php'''. Verzamelt alle data van Hobbynet abonnees en alle andere users in ldap. Optie '''-m''' mailt naar de accounthouder in het ldap record. Sinds medio 2020 krijgen hcc groepering webmasters deze mail niet meer, omdat ze nu allemaal gebruik maken van een Joomla template site, en daar geen 'eigenaar' meer van zijn.
* <strike>'''gen_pc30_maand_rap.php'''. Mailt specifiek de gegevens van de PC30 agents naar de teamleider.</strike>
* '''run_maand_rapport.sh'''. Cronjob die bovenstaande scripts 1x per maand draait.

==Passwd, shadow en group==
<strike>
* gen_group_admin.php
* gen_group_code2.php
* gen_group_hcc.php
* gen_passwd_admin.php
* gen_passwd_code2.php
* gen_passwd_hcc.php
* gen_shadow_admin.php
* gen_shadow_code2.php
* gen_shadow_hcc.php
* upd_admin_accounts.sh (is er niet)
* upd_code2_accounts.sh
* upd_hcc_accounts.sh

Deze scripts genereren de passwd, shadow en group entries voor de betalende leden (_code2), de admins (_admin, de lagere goden, op het moment niet gebruikt; er is wel een .hobby met alleen Roel v.d. Bussche erin) en voor de HCC groeperingen (_hcc). De output wordt op de shared etc omgeving neergezet zodat elke (web)server ze kan toevoegen aan de passwd.temp/shadow.temp/group.temp files. Hiervoor wordt de lokale job upd_usr (of upd_hobby_only) gedraaid.
</strike>

==HCC Verenigingsbureau==
Het HCC Verenigingsbureau ('VB') heeft beschikking over een ledenlijst en een kader/kernledenlijst die dagelijks up-to-date zijn. Deze lijsten zijn in CSV formaat zodat men zelf in de hand heeft hoe het bestand gebruikt wordt. Ze worden dagelijks op de Hobbynet sftp server (dedicated server t.b.v. gebuik vanaf het VB) geplaatst.

Daarnaast krijgt VB iedere dag een actueel overzicht van de aantallen bezoekers (bezoekers statistiek).

* '''upload_kader_csv.sh''' de cronjob
* '''gen_kader_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_leden_csv.sh''' de cronjob
* '''gen_leden_csv.php''' het php script dat een bestand in CSV formaat maakt met de door VB gewenste velden.
* '''upload_bezoekersstatistiek.sh''' de cronjob
* '''gen_bezoekersstatistiek_csv.php''' het php script dat een bestand in CSV formaat maakt met de bezoekersstatistieken.

==CompUsers==
2020: VB heeft 'eigen' afspraken met CU gemaakt, en stuurt ze op eigen houtje zomaar ledenbestanden toe. Onze scripts zijn daarmee zinloos geworden.

<strike>Met CompUsers zijn speciale afspraken gemaakt door Kantoor in januari 2014. Zij krijgen een sterk verkorte lijst van ALLE leden voor hun administratie. Het streven is dit zo spoedig mogelijk te vervangen door een ander mechanisme zoals de partner check.

* '''upload_compusers_csv.sh''' de cronjob
* '''gen_compusers_csv.php''' het script dat een CSV maakt. Dit is een afgeslankt vorm van het '''gen_leden_csv.php''' script.</strike>

=Koppeling met Tripolis=
Het oude "popbull" systeem dat bij HenZ draait is in de zomer van 2013 vervangen door Tripolis. Tripolis wordt al jaren gebruikt door kantoor voor het versturen van Digizine en de Nieuwsflash. Per groepering wordt een account aangemaakt met beperkte rechten waar mee de Correspondent van de groepering mailings kan versturen. Om Tripolis en ldap in sync te houden wordt er elke nacht data uitgewisseld. Ldap is leidend in deze maar als mensen zich uitschrijven (opt-out) via de knop onder aan de mailing, moet dat doorgegeven worden aan ldap.

==Sync van Tripolis naar ldap==
* '''run_tripolis_import.sh''' de eigenlijke cronjob
* '''import_tripolis_csv.php''' vertaalt de CSV van opt-outs naar het wissen van de individuele optins.

Tripolis plaatst elke nacht om 00:01 een CSV bestand met de opt-outs per bulletin van de vorige dag. Dit gebeurt met datums. Als de datum van gisteren ingevuld staat is daar een optout geweest. Als er geen opt-outs zijn, bevat het veld slechts een lege string. Het bestand wordt naar de ldap server gehaald waar een aantal versies bewaard worden. De bestanden wordt verwijderd van de sftp omgeving. Vervolgens worden het gedownloade bestand verwerkt om bij het lid de hccOptIn van dit bulletin te verwijderen.

==Sync van ldap naar Tripolis==
* '''run_tripolis_export.sh''' de eigenlijk cronjob
* '''gen_ldap_bul_export.php''' maakt een volledige lijst aan van emailadres, lidnr en optins. Dit bestand gaat naar de sftp omgeving van Tripolis.
* '''gen_ldap_cor_export.php''' maakt een lijst van alle correspondenten voor kantoor. Dit bestand gaat naar de sftp omgeving van Kantoor.

Het export bestand wordt elke nacht (om 02:50) op de sftp omgeving voor Tripolis klaargezet. Tripolis haalt het om 05:00 op. Omdat de opt-outs van Tripolis om 02:15 verwerkt worden, is dit bestand dus al bijgewerkt voor wat betreft die opt-outs. Alle andere wijzigingen komen van de hcc.nl profielpagina's of mutaties door derden op ldap (mutaties door Hobbynet staff of PC30).

==Rapportage==
<strike>Om ook de ledenadministratie in te lichten over leden die een optout op één of meer Tripolis mailings hebben gedaan, wordt na het verwerken van de optouts een mail gestuurd naar ledenadministratie@hcc.nl. Elke dag is er een nieuwe log file maar die wordt door dezelfde cronjob aan een archive geplakt. Zie mail_tripolis_reports.sh.</strike>

Egbert laat zich iedere nacht een rapportage mail sturen, zie mail_tripolis_export_report.sh.

==Eénmalige jobs==
Er zijn een aantal php scripts voor éénmalig gebruik gemaakt. Deze worden niet in de cronjobs gebruikt maar waren slechts bedoeld om de lijsten opgeleverd door VB in LDAP te krijgen. Deze scripts zijn in de subdirectory '''popbull-specials''' geplaatst.
* '''import_digizine_csv.php''' de initiële Digizine lijst
* '''import_nieuwsflash_csv.php''' de initiële Nieuwsflash lijst
* '''import_popbull_csv.php''' de initiële lijst zoals die van HenZ (popbull provider) komt

=ISIZ enquête=
Op verzoek geschreven scripts voor eenmalig gebruik. Terug te vinden in in de '''enquete-specials''' subdirectory.
* '''gen_enquete_csv.php''' enquête per email
* '''gen_enquete_csv_no_mail.php''' enquête per post

=Nameserver=
* gen_mx_hcc.php
* gen_mx_hobby.php
* upd_nameserver.sh

=Firewall (op ldap servers)=
* gen_xml_fw_ip4.php
* gen_xml_fw_ip6.php
* sync_hobbynetfw.sh
* gen_fw.sh

LDAP

2022-05-11T14:20:57Z

Egbert: /* add-schema.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
Mogelijk ontbrekende pakketten:

apt-get install aptitude
apt-get install php-mbstring
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key
LET OP: Als apparmor geïnstalleerd is moet het pad naar de certificaten vrijgegeven worden. Als alternatief kan apparmor verwijderd worden.

Het volgende is niet nodig voor ldap. Mischien voor mysql-server???
- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

Nog meer Hobbynet aanpassingen Waarom???
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig. Er wordt zowel voor de cn=config als voor de dc=hcc,dc=nl een RootDN aangemaakt. Echter wordt er geen password gezet op de RootDN voor config.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
# date: vbs20220511 ppolicy not included to get
# of duplicate message
#
include: file:///etc/ldap/schema/hcc_schema.ldif
#include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49510 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37490 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49508 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37488 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2022-05-11T14:04:07Z

Egbert: /* slapd.init.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
Mogelijk ontbrekende pakketten:

apt-get install aptitude
apt-get install php-mbstring
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key
LET OP: Als apparmor geïnstalleerd is moet het pad naar de certificaten vrijgegeven worden. Als alternatief kan apparmor verwijderd worden.

Het volgende is niet nodig voor ldap. Mischien voor mysql-server???
- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

Nog meer Hobbynet aanpassingen Waarom???
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig. Er wordt zowel voor de cn=config als voor de dc=hcc,dc=nl een RootDN aangemaakt. Echter wordt er geen password gezet op de RootDN voor config.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49510 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37490 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49508 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37488 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2022-05-11T13:59:37Z

Egbert: /* Installatie */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
Mogelijk ontbrekende pakketten:

apt-get install aptitude
apt-get install php-mbstring
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key
LET OP: Als apparmor geïnstalleerd is moet het pad naar de certificaten vrijgegeven worden. Als alternatief kan apparmor verwijderd worden.

Het volgende is niet nodig voor ldap. Mischien voor mysql-server???
- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

Nog meer Hobbynet aanpassingen Waarom???
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49510 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37490 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49508 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37488 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2022-05-11T13:50:05Z

Egbert: /* Installatie */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
Mogelijk ontbrekende pakketten:

apt-get install aptitude
apt-get install php-mbstring
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key
LET OP: Als apparmor geïnstalleerd is moet het pad naar de certificaten vrijgegeven worden. Als alternatief kan apparmor verwijderd worden.

Het volgende is niet nodig voor ldap. Mischien voor mysql-server???
- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49510 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37490 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49508 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37488 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

Roundcube Webmail

2022-02-03T15:30:30Z

Egbert: /* Upgrading Roundcube webmail */

==Upgrading Roundcube webmail==
Roundcube wordt niet via de standaard repo's geupdate maar via een tar.gz distributie. Deze kan worden gedownload van [http://roundcube.net/ de Roundcube site]. Makkelijkste is een wget van de url in je eigen home dir te doen op de mail servers.

* Maak een backup van de webtree met cp -Rp /disk/site/hobbynet/mail/roundcube /disk/site/hobbynet/mail/roundcube.old.
* Maak een backup van de database: mysqldump -h 127.0.0.1 roundcube >roundcube.sql (aangenomen dat je root bent...)
* wget [https://github.com/roundcube/roundcubemail/releases/download/1.4.9/roundcubemail-1.4.9-complete.tar.gz https://github.com/roundcube/roundcubemail/releases/download/1.4.13/roundcubemail-1.4.13-complete.tar.gz] (of nieuwer)
* Pak de tarball uit: tar zxf ...
* cd in de net ontstane directory.
* Lees UPGRADING en INSTALL.
* run het script '''./bin/installto.sh /disk/site/hobbynet/mail/roundcube'''.
* controleer owner /disk/site/hobbynet/mail/roundcube. Zet de hele tree op www-data:www-data, indien nodig. Gebruik daarvoor '''chown -R www-data:www-data /disk/site/hobbynet/mail/roundcube'''
* werk de adresboek indexen bij door '''./bin/indexcontacts.sh''' uit te voeren '''in de life webtree'''.
* ruim voorlaatste versie op nadat de nieuwe release getest is.

Dat is alles.

Roundcube Webmail

2021-02-08T21:30:42Z

Egbert: /* Upgrading Roundcube webmail */

==Upgrading Roundcube webmail==
Roundcube wordt niet via de standaard repo's geupdate maar via een tar.gz distributie. Deze kan worden gedownload van [http://roundcube.net/ de Roundcube site]. Makkelijkste is een wget van de url in je eigen home dir te doen op de mail servers.

* Maak een backup van de webtree met cp -Rp /disk/site/hobbynet/mail/roundcube /disk/site/hobbynet/mail/roundcube.old.
* Maak een backup van de database: mysqldump -h 127.0.0.1 roundcube >roundcube.sql (aangenomen dat je root bent...)
* wget [https://github.com/roundcube/roundcubemail/releases/download/1.4.9/roundcubemail-1.4.9-complete.tar.gz https://github.com/roundcube/roundcubemail/releases/download/1.4.11/roundcubemail-1.4.11-complete.tar.gz] (of nieuwer)
* Pak de tarball uit: tar zxf ...
* cd in de net ontstane directory.
* Lees UPGRADING en INSTALL.
* run het script '''./bin/installto.sh /disk/site/hobbynet/mail/roundcube'''.
* controleer owner /disk/site/hobbynet/mail/roundcube. Zet de hele tree op www-data:www-data, indien nodig. Gebruik daarvoor '''chown -R www-data:www-data /disk/site/hobbynet/mail/roundcube'''
* werk de adresboek indexen bij door '''./bin/indexcontacts.sh''' uit te voeren '''in de life webtree'''.
* ruim voorlaatste versie op nadat de nieuwe release getest is.

Dat is alles.

Roundcube Webmail

2021-02-08T21:21:02Z

Egbert: /* Upgrading Roundcube webmail */

==Upgrading Roundcube webmail==
Roundcube wordt niet via de standaard repo's geupdate maar via een tar.gz distributie. Deze kan worden gedownload van [http://roundcube.net/ de Roundcube site]. Makkelijkste is een wget van de url in je eigen home dir te doen op de mail servers.

* Maak een backup van de webtree met cp -Rp /disk/site/hobbynet/mail/roundcube /disk/site/hobbynet/mail/roundcube.old.
* Maak een backup van de database: mysqldump -h 127.0.0.1 roundcube >roundcube.sql (aangenomen dat je root bent...)
* wget https://github.com/roundcube/roundcubemail/releases/download/1.4.9/roundcubemail-1.4.9-complete.tar.gz (of nieuwer)
* Pak de tarball uit: tar zxf ...
* cd in de net ontstane directory.
* Lees UPGRADING en INSTALL.
* run het script '''./bin/installto.sh /disk/site/mail/roundcube'''.
* controleer owner /disk/site/mail/roundcube. Zet de hele tree op www-data:www-data, indien nodig. Gebruik daarvoor'''chown -R www-data:www-data /disk/site/mail/roundcube'''
* werk de adresboek indexen bij door '''./bin/indexcontacts.sh''' uit te voeren '''in de life webtree'''.
* ruim voorlaatste versie op nadat de nieuwe release getest is.

Dat is alles.

LDAP

2020-12-20T12:22:18Z

Egbert: /* Installatie */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
Mogelijk ontbrekende pakketten:

apt-get install aptitude
apt-get install php-mbstring
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

Het volgende is niet nodig voor ldap. Mischien voor mysql-server???
- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49510 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37490 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49508 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37488 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-18T22:03:11Z

Egbert: /* Verse ldap maken */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49510 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37490 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:49508 2a02:968:ffff:910:172:31:8:4:389 ESTABLISHED
tcp6 0 0 2a02:968:ffff:910:172:31:8:5:389 2a02:968:ffff:910:172:31:8:4:37488 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:43:26Z

Egbert: /* modify-acl */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl.ldif===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:39:28Z

Egbert: /* ppolicy overlay */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#
# file: add-ppolicy.ldif
# date: vbs20200415
#
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}mdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:38:08Z

Egbert: /* modify_index.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:37:54Z

Egbert: /* modify_index.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#
# file: modify-index.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail,hccKaderForward pres,eq
olcDbIndex: hccProfiel pres,eq
olcDbindex: hccKaderUniekeURL eq
olcDbindex: hccOnderwerp eq,subfinal

</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:25:40Z

Egbert: /* add-schema.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#
# file: add-schema.ldif
# date: vbs20200415
#
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:23:32Z

Egbert: /* modify_config.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#
# file: modify-config.ldif
# date: vbs20200415
#
dn: cn=config
changetype: modify
add: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
add: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
add: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
-
add: olcPasswordHash
olcPasswordHash: {CRYPT}
-
add: olcPasswordCryptSaltFormat
olcPasswordCryptSaltFormat: $6$%.16s
-
replace: olcLogLevel
olcLogLevel: stats
</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:15:44Z

Egbert: /* modify-acl */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl===
Hier worden de rechten bepaald van de diverse rollen en groepen
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:14:46Z

Egbert: /* modify-mdb.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>
===modify-acl===
<pre>
#
# file: modify-acl.ldif
# date: vbs20200415
#
dn: olcDatabase={1}mdb,cn=config
replace: olcAccess
# hobbynetlogin heeft lees rechten t.b.v. MySecureShell aanloggen
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
olcAccess: to attrs=@posixAccount
by anonymous read
by * break
#
# sta anonymous search toe (t.b.v. Apache authenticatie)
olcAccess: to attrs=hccLogin,hccRol,hccProfiel,entry
by anonymous read
by * break
#
# olcAccess: to attrs=hccOptIn
# by self write
# by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
# by * break
#
# Anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# Gebruiker mag zijn kader email wachtwoord aanpassen
olcAccess: to attrs=hccKaderPassword,hccKaderForward
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# PC30 helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld,hccIg
by dn.one="ou=partners,dc=hcc,dc=nl" read
by * break
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
olcAccess: to *
by * none
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:11:53Z

Egbert: /* modify-hdb.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-mdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt.
<pre>
#
# file: modify-mdb.ldif
# date: vbs20200415
# hjv 2020.06.07 (oldSizeLimit toegevoegd)
#
dn: olcDatabase={1}mdb,cn=config
replace: olcDbCheckpoint
olcDbCheckpoint: 4096 1
-
replace: olcDbNoSync
olcDbNoSync: TRUE
-
replace: olcSizeLimit
olcSizeLimit: 100000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:08:37Z

Egbert: /* modify_config.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-hdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt. Er worden een aantal attributes ge-indexeerd en de search SizeLimit wordt op '''unlimited''' gezet. De waarden die in DB_CONFIG moeten komen (Berkely DB parameters) staan ook in dit bestand. Deze versie is outdated. De ACL regels zijn drastisch gewijzigd. Raadpleeg altijd de laatste versie op de server zelf.
<pre>
#######################################
## modify-hdb.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcAccess
#
# hobbynetlogin heeft lees rechten op ou=users
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
# drupal/test moet hccOptIn kunnen schrijven vanaf de
# profiel pagina. Overige klanten kunnen hccOptin
# alleen lezen. self mag schrijven
olcAccess: to attrs=hccOptIn
by self write
by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
by * break
#
# anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# user mag enkele eigen attr wijzigen
olcAccess: to attrs=hccLogin,hccPseudoniem,hccKaderPassword
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld
by dn.one="ou=partners,dc=hcc,dc=nl" read
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
# vangnet: blokkeer alle toegang tot de overige attrs.
olcAccess: to *
by * none
-
replace: olcDbDirectory
olcDbDirectory: /var/lib/ldap
-
replace: olcSizeLimit
olcSizeLimit: 100000
-
replace: olcDbCachesize
olcDbCachesize: 200000
-
replace: olcDbCheckpoint
olcDbCheckpoint: 1024 5
-
replace: olcDbConfig
olcDbConfig: set_cachesize 0 536870912 0
olcDbConfig: set_lk_max_objects 1000
olcDbConfig: set_lk_max_locks 1000
olcDbConfig: set_lk_max_lockers 1000
olcDbConfig: set_flags DB_LOG_AUTOREMOVE
olcDbConfig: set_flags DB_TXN_NOSYNC
-
replace: olcDbIDLcacheSize
olcDbIDLcacheSize: 600000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T21:04:52Z

Egbert: /* Initiële database */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap.sh <admin-pw> gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Gebruik na het maken van de initiële database restore_ldap.sh om de database te vullen met de data uit de data directory.

===slapd.init.ldif ===
Bij installatie en reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".

Dit template wordt tijdens het draaien van het init_ldap script gecopieerd naar modify-config.ldif. Eventueel kan met place holders gewerkt worden (@...@), dit om op alle servers (ook test servers) één en hetzelfde script te kunnen gebruiken. Er zijn nog enkele van deze templates.
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-hdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt. Er worden een aantal attributes ge-indexeerd en de search SizeLimit wordt op '''unlimited''' gezet. De waarden die in DB_CONFIG moeten komen (Berkely DB parameters) staan ook in dit bestand. Deze versie is outdated. De ACL regels zijn drastisch gewijzigd. Raadpleeg altijd de laatste versie op de server zelf.
<pre>
#######################################
## modify-hdb.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcAccess
#
# hobbynetlogin heeft lees rechten op ou=users
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
# drupal/test moet hccOptIn kunnen schrijven vanaf de
# profiel pagina. Overige klanten kunnen hccOptin
# alleen lezen. self mag schrijven
olcAccess: to attrs=hccOptIn
by self write
by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
by * break
#
# anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# user mag enkele eigen attr wijzigen
olcAccess: to attrs=hccLogin,hccPseudoniem,hccKaderPassword
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld
by dn.one="ou=partners,dc=hcc,dc=nl" read
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
# vangnet: blokkeer alle toegang tot de overige attrs.
olcAccess: to *
by * none
-
replace: olcDbDirectory
olcDbDirectory: /var/lib/ldap
-
replace: olcSizeLimit
olcSizeLimit: 100000
-
replace: olcDbCachesize
olcDbCachesize: 200000
-
replace: olcDbCheckpoint
olcDbCheckpoint: 1024 5
-
replace: olcDbConfig
olcDbConfig: set_cachesize 0 536870912 0
olcDbConfig: set_lk_max_objects 1000
olcDbConfig: set_lk_max_locks 1000
olcDbConfig: set_lk_max_lockers 1000
olcDbConfig: set_flags DB_LOG_AUTOREMOVE
olcDbConfig: set_flags DB_TXN_NOSYNC
-
replace: olcDbIDLcacheSize
olcDbIDLcacheSize: 600000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T20:59:47Z

Egbert: /* Locatie bestanden */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema. Zie hieronder.

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Alleen zijn er geen leden geladen in de ou=leden en ou=inactieve_leden.
===slapd.init.ldif ===
Bij installatie/reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".

Dit template wordt tijdens het draaien van het init_ldap script gecopieerd naar modify-config.ldif. Eventueel kan met place holders gewerkt worden (@...@), dit om op alle servers (ook test servers) één en hetzelfde script te kunnen gebruiken. Er zijn nog enkele van deze templates.
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-hdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt. Er worden een aantal attributes ge-indexeerd en de search SizeLimit wordt op '''unlimited''' gezet. De waarden die in DB_CONFIG moeten komen (Berkely DB parameters) staan ook in dit bestand. Deze versie is outdated. De ACL regels zijn drastisch gewijzigd. Raadpleeg altijd de laatste versie op de server zelf.
<pre>
#######################################
## modify-hdb.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcAccess
#
# hobbynetlogin heeft lees rechten op ou=users
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
# drupal/test moet hccOptIn kunnen schrijven vanaf de
# profiel pagina. Overige klanten kunnen hccOptin
# alleen lezen. self mag schrijven
olcAccess: to attrs=hccOptIn
by self write
by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
by * break
#
# anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# user mag enkele eigen attr wijzigen
olcAccess: to attrs=hccLogin,hccPseudoniem,hccKaderPassword
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld
by dn.one="ou=partners,dc=hcc,dc=nl" read
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
# vangnet: blokkeer alle toegang tot de overige attrs.
olcAccess: to *
by * none
-
replace: olcDbDirectory
olcDbDirectory: /var/lib/ldap
-
replace: olcSizeLimit
olcSizeLimit: 100000
-
replace: olcDbCachesize
olcDbCachesize: 200000
-
replace: olcDbCheckpoint
olcDbCheckpoint: 1024 5
-
replace: olcDbConfig
olcDbConfig: set_cachesize 0 536870912 0
olcDbConfig: set_lk_max_objects 1000
olcDbConfig: set_lk_max_locks 1000
olcDbConfig: set_lk_max_lockers 1000
olcDbConfig: set_flags DB_LOG_AUTOREMOVE
olcDbConfig: set_flags DB_TXN_NOSYNC
-
replace: olcDbIDLcacheSize
olcDbIDLcacheSize: 600000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T20:58:51Z

Egbert: /* Locatie bestanden */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

hcc_schema.ldif wordt middels een script gemaakt. Dit script plaatst de ldif bestand(en) in /etc/ldap/schema

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Alleen zijn er geen leden geladen in de ou=leden en ou=inactieve_leden.
===slapd.init.ldif ===
Bij installatie/reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".

Dit template wordt tijdens het draaien van het init_ldap script gecopieerd naar modify-config.ldif. Eventueel kan met place holders gewerkt worden (@...@), dit om op alle servers (ook test servers) één en hetzelfde script te kunnen gebruiken. Er zijn nog enkele van deze templates.
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-hdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt. Er worden een aantal attributes ge-indexeerd en de search SizeLimit wordt op '''unlimited''' gezet. De waarden die in DB_CONFIG moeten komen (Berkely DB parameters) staan ook in dit bestand. Deze versie is outdated. De ACL regels zijn drastisch gewijzigd. Raadpleeg altijd de laatste versie op de server zelf.
<pre>
#######################################
## modify-hdb.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcAccess
#
# hobbynetlogin heeft lees rechten op ou=users
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
# drupal/test moet hccOptIn kunnen schrijven vanaf de
# profiel pagina. Overige klanten kunnen hccOptin
# alleen lezen. self mag schrijven
olcAccess: to attrs=hccOptIn
by self write
by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
by * break
#
# anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# user mag enkele eigen attr wijzigen
olcAccess: to attrs=hccLogin,hccPseudoniem,hccKaderPassword
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld
by dn.one="ou=partners,dc=hcc,dc=nl" read
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
# vangnet: blokkeer alle toegang tot de overige attrs.
olcAccess: to *
by * none
-
replace: olcDbDirectory
olcDbDirectory: /var/lib/ldap
-
replace: olcSizeLimit
olcSizeLimit: 100000
-
replace: olcDbCachesize
olcDbCachesize: 200000
-
replace: olcDbCheckpoint
olcDbCheckpoint: 1024 5
-
replace: olcDbConfig
olcDbConfig: set_cachesize 0 536870912 0
olcDbConfig: set_lk_max_objects 1000
olcDbConfig: set_lk_max_locks 1000
olcDbConfig: set_lk_max_lockers 1000
olcDbConfig: set_flags DB_LOG_AUTOREMOVE
olcDbConfig: set_flags DB_TXN_NOSYNC
-
replace: olcDbIDLcacheSize
olcDbIDLcacheSize: 600000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T20:53:24Z

Egbert: /* Installatie */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

De volgende pakketten dienen geïnstalleerd te zijn ('php -m' toont de geactiveerde modules):
<pre>
ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

- apache2ctl restart

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Nog meer Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Alleen zijn er geen leden geladen in de ou=leden en ou=inactieve_leden.
===slapd.init.ldif ===
Bij installatie/reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".

Dit template wordt tijdens het draaien van het init_ldap script gecopieerd naar modify-config.ldif. Eventueel kan met place holders gewerkt worden (@...@), dit om op alle servers (ook test servers) één en hetzelfde script te kunnen gebruiken. Er zijn nog enkele van deze templates.
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-hdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt. Er worden een aantal attributes ge-indexeerd en de search SizeLimit wordt op '''unlimited''' gezet. De waarden die in DB_CONFIG moeten komen (Berkely DB parameters) staan ook in dit bestand. Deze versie is outdated. De ACL regels zijn drastisch gewijzigd. Raadpleeg altijd de laatste versie op de server zelf.
<pre>
#######################################
## modify-hdb.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcAccess
#
# hobbynetlogin heeft lees rechten op ou=users
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
# drupal/test moet hccOptIn kunnen schrijven vanaf de
# profiel pagina. Overige klanten kunnen hccOptin
# alleen lezen. self mag schrijven
olcAccess: to attrs=hccOptIn
by self write
by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
by * break
#
# anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# user mag enkele eigen attr wijzigen
olcAccess: to attrs=hccLogin,hccPseudoniem,hccKaderPassword
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld
by dn.one="ou=partners,dc=hcc,dc=nl" read
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
# vangnet: blokkeer alle toegang tot de overige attrs.
olcAccess: to *
by * none
-
replace: olcDbDirectory
olcDbDirectory: /var/lib/ldap
-
replace: olcSizeLimit
olcSizeLimit: 100000
-
replace: olcDbCachesize
olcDbCachesize: 200000
-
replace: olcDbCheckpoint
olcDbCheckpoint: 1024 5
-
replace: olcDbConfig
olcDbConfig: set_cachesize 0 536870912 0
olcDbConfig: set_lk_max_objects 1000
olcDbConfig: set_lk_max_locks 1000
olcDbConfig: set_lk_max_lockers 1000
olcDbConfig: set_flags DB_LOG_AUTOREMOVE
olcDbConfig: set_flags DB_TXN_NOSYNC
-
replace: olcDbIDLcacheSize
olcDbIDLcacheSize: 600000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T20:44:40Z

Egbert: /* Loadbalanced */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

Tevens zijn er een test en een development server: ldap-test en ldap-dev.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

UPDATE: in Oneiric Ocelot (11.10) is weer wel de mogelijkheid gegeven bij installatie een database aan te maken. Default wordt echter de fqdn hostname gebruikt. Bij dpkg-reconfigure kan het gewenste domein wel opnieuw gegeven worden. De initiële configuratie staat in /usr/share/slapd/slapd.init.ldif.

UPDATE: bij de upgrade naar 16.04.1 zijn proefondervindelijk nog wat extra handelingen nodig gebleken. 
XML-RPC server updaten naar Ubuntu 16.04. WIP!
<pre>
- apt-get install phpmyadmin
- apt-get install aptitude
- apt-get install php-xmlrpc
- apt-get install php-ldap
- phpenmod xml
- phpenmod mysqli
('php -m' toont de geactiveerde modules)
- apache2ctl restart

phpmyadmin werkt niet:
- apt-get install php-mbstring
- apt-get install php-gettext

ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

* Voer de laatste stappen uit, zoals beschreven in de Hobbynet wiki: *

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key
en dus niet langer
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

- Vertel LDAP (en PHP) clients welke certificaten toegestaan zijn
(2017-09-23: verouderde info, niet langer in gebruik)
vi /etc/ldap/ldap.conf
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Alleen zijn er geen leden geladen in de ou=leden en ou=inactieve_leden.
===slapd.init.ldif ===
Bij installatie/reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".

Dit template wordt tijdens het draaien van het init_ldap script gecopieerd naar modify-config.ldif. Eventueel kan met place holders gewerkt worden (@...@), dit om op alle servers (ook test servers) één en hetzelfde script te kunnen gebruiken. Er zijn nog enkele van deze templates.
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-hdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt. Er worden een aantal attributes ge-indexeerd en de search SizeLimit wordt op '''unlimited''' gezet. De waarden die in DB_CONFIG moeten komen (Berkely DB parameters) staan ook in dit bestand. Deze versie is outdated. De ACL regels zijn drastisch gewijzigd. Raadpleeg altijd de laatste versie op de server zelf.
<pre>
#######################################
## modify-hdb.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcAccess
#
# hobbynetlogin heeft lees rechten op ou=users
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
# drupal/test moet hccOptIn kunnen schrijven vanaf de
# profiel pagina. Overige klanten kunnen hccOptin
# alleen lezen. self mag schrijven
olcAccess: to attrs=hccOptIn
by self write
by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
by * break
#
# anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# user mag enkele eigen attr wijzigen
olcAccess: to attrs=hccLogin,hccPseudoniem,hccKaderPassword
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld
by dn.one="ou=partners,dc=hcc,dc=nl" read
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
# vangnet: blokkeer alle toegang tot de overige attrs.
olcAccess: to *
by * none
-
replace: olcDbDirectory
olcDbDirectory: /var/lib/ldap
-
replace: olcSizeLimit
olcSizeLimit: 100000
-
replace: olcDbCachesize
olcDbCachesize: 200000
-
replace: olcDbCheckpoint
olcDbCheckpoint: 1024 5
-
replace: olcDbConfig
olcDbConfig: set_cachesize 0 536870912 0
olcDbConfig: set_lk_max_objects 1000
olcDbConfig: set_lk_max_locks 1000
olcDbConfig: set_lk_max_lockers 1000
olcDbConfig: set_flags DB_LOG_AUTOREMOVE
olcDbConfig: set_flags DB_TXN_NOSYNC
-
replace: olcDbIDLcacheSize
olcDbIDLcacheSize: 600000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

LDAP

2020-12-10T20:43:01Z

Egbert: /* Introductie */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (ldap-lb1 en ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Omdat er gebruikgemaakt wordt van php scripts, is het ook nodig '''php-cli''' en '''php-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

UPDATE: in Oneiric Ocelot (11.10) is weer wel de mogelijkheid gegeven bij installatie een database aan te maken. Default wordt echter de fqdn hostname gebruikt. Bij dpkg-reconfigure kan het gewenste domein wel opnieuw gegeven worden. De initiële configuratie staat in /usr/share/slapd/slapd.init.ldif.

UPDATE: bij de upgrade naar 16.04.1 zijn proefondervindelijk nog wat extra handelingen nodig gebleken. 
XML-RPC server updaten naar Ubuntu 16.04. WIP!
<pre>
- apt-get install phpmyadmin
- apt-get install aptitude
- apt-get install php-xmlrpc
- apt-get install php-ldap
- phpenmod xml
- phpenmod mysqli
('php -m' toont de geactiveerde modules)
- apache2ctl restart

phpmyadmin werkt niet:
- apt-get install php-mbstring
- apt-get install php-gettext

ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

* Voer de laatste stappen uit, zoals beschreven in de Hobbynet wiki: *

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP daemon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /disk/site/etc/ssl/hobby.nl/
chgrp ssl-cert /disk/site/etc/ssl/hobby.nl/hobby.nl.*
chmod 440 /disk/site/etc/ssl/hobby.nl/hobby.nl.key
en dus niet langer
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

- Vertel LDAP (en PHP) clients welke certificaten toegestaan zijn
(2017-09-23: verouderde info, niet langer in gebruik)
vi /etc/ldap/ldap.conf
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/mysql.conf.d/innodb_file_per_table.cnf
[mysql]
innodb_file_per_table

=============
Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Alleen zijn er geen leden geladen in de ou=leden en ou=inactieve_leden.
===slapd.init.ldif ===
Bij installatie/reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versie van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
Ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".

Dit template wordt tijdens het draaien van het init_ldap script gecopieerd naar modify-config.ldif. Eventueel kan met place holders gewerkt worden (@...@), dit om op alle servers (ook test servers) één en hetzelfde script te kunnen gebruiken. Er zijn nog enkele van deze templates.
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-hdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt. Er worden een aantal attributes ge-indexeerd en de search SizeLimit wordt op '''unlimited''' gezet. De waarden die in DB_CONFIG moeten komen (Berkely DB parameters) staan ook in dit bestand. Deze versie is outdated. De ACL regels zijn drastisch gewijzigd. Raadpleeg altijd de laatste versie op de server zelf.
<pre>
#######################################
## modify-hdb.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcAccess
#
# hobbynetlogin heeft lees rechten op ou=users
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
# drupal/test moet hccOptIn kunnen schrijven vanaf de
# profiel pagina. Overige klanten kunnen hccOptin
# alleen lezen. self mag schrijven
olcAccess: to attrs=hccOptIn
by self write
by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
by * break
#
# anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# user mag enkele eigen attr wijzigen
olcAccess: to attrs=hccLogin,hccPseudoniem,hccKaderPassword
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld
by dn.one="ou=partners,dc=hcc,dc=nl" read
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
# vangnet: blokkeer alle toegang tot de overige attrs.
olcAccess: to *
by * none
-
replace: olcDbDirectory
olcDbDirectory: /var/lib/ldap
-
replace: olcSizeLimit
olcSizeLimit: 100000
-
replace: olcDbCachesize
olcDbCachesize: 200000
-
replace: olcDbCheckpoint
olcDbCheckpoint: 1024 5
-
replace: olcDbConfig
olcDbConfig: set_cachesize 0 536870912 0
olcDbConfig: set_lk_max_objects 1000
olcDbConfig: set_lk_max_locks 1000
olcDbConfig: set_lk_max_lockers 1000
olcDbConfig: set_flags DB_LOG_AUTOREMOVE
olcDbConfig: set_flags DB_TXN_NOSYNC
-
replace: olcDbIDLcacheSize
olcDbIDLcacheSize: 600000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

2020.12.09: Op een nieuwe Ubuntu installatie staat apparmor standaard aan. Weg ermee!
apt remove --assume-yes --purge apparmor
<strike>Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
</strike>

Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. 
'netstat -an' dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

===Verse ldap maken===
Transactie log bij het toevoegen van b.v. een nieuwe ou:

<pre>
Op beide servers:
schema van test server gecopieerd en geactiveerd
dump-ldap gedraaid
systemctl stop slapd.service

Er is nu géén ldap service! Werk dus snel...

op ldap-lb1:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb1
systemctl stop slapd.service

op ldap-lb2:
init-ldap.sh <adminpw>
restore-ldap.sh
wacht op indexering (tot slapd uit top verdwijnt)
Slapd service is nu in de lucht op ldap-lb2

op ldap-lb1:
systemctl start slapd.service
Beide slapd servers zijn in de lucht en moeten synchroniseren.

op beide servers:
check replicatie (netstat en functioneel)

root@ldap-lb1:/usr/local/hobbynet/bin# netstat -n | grep 389
tcp 0 0 172.31.8.4:36838 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:36836 172.31.8.5:389 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58112 ESTABLISHED
tcp 0 0 172.31.8.4:389 172.31.8.5:58114 ESTABLISHED

Functioneel door met ADS op beide servers in te loggen en een willekeurig veld in je eigen entry te wijzigen op lb1. Kijk of het gebeurd is op lb2 en wijzig het daar terug. Check op de andere server of het gebeurd is. Er kan een zekere vertraging in optreden.

Stel er is een nieuwe ou gemaakt: denk aan het bij werken van de dump en restore scripts.

update dump-ldap.sh en restore-ldap.sh met de nieuwe ou

op ldap-lb1:
export tarieven.ldif op test server en import op ldap-lb1
</pre>

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE(13) of (open)JDK-(13). 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is deprecated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
2019-10-31 HJV: Oude info, als referentie leuk, maar niet meer relevant 
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkeling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php7.x pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php-cli
* php-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

<pre>
# // 1) Hobbynet webmaster
# // 2) Vraagbaak medewerker van een willekeurige groepering
# (|(hccRol=*#VRBK)(hccRol=HN#WM))
<Location "/apps/vraagbaak">
<RequireAll>
Authname "HCC!vraagbaak (gebruik uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider ldap
AuthLDAPUrl ldap://hcc-ldap-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin??(|(hccRol=*#VRBK)(hccRol=HN#WM))(hccProfiel=TRUE) TLS
require valid-user
</RequireAll>
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XML-RPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

MySQL cluster

2020-11-22T14:44:02Z

Egbert: /* credentials.cnf */

=doel=
Om te zorgen dat onze database server ook volledig redundant is hebben we hier een cluster gemaakt, onze loadbalancer zorgt er voor dat verkeer of op db01 of op db02 terecht komt.
=opzet=

= loadbalancing =
Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server. 
'''belangrijk''' 
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database

= database clusters =
== dbclus01-int ==
Dit cluster bestaat uit mysql01 en mysql02

== hcc-dbclus02-int ==
Dit cluster bestaat uit mysql03 en mysql04
== dbclus04-int ==
Dit cluster bestaat uit mysql05 en mysql06

=configuratie =
== configuratie files ==
al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d
=== mysqld.cnf ===
In deze file hebben we 1 aanpassing gedaan we hebben
bind-address = 127.0.0.1
voorzien van commentaar
=== ssl.cnf ===
Mysql beschikt over ssl daarom is dit ook geconfigureerd, onder andere de replicatie gebruikt het. De ssl.cnf file ziet er zo uit:
[mysqld]
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key

=== replicatie.cnf ===
Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2. Er mogen nooit 2 de zelfde id's zijn. Ook is de waarde van auto-increment-offset belangrijk; bij de oneven server is dat 1 en bij even 2. 

Voor oneven server ziet hij er zo uit:
#sql mode uit voor toestaan lege velden
sql-mode = ""
server-id = 1
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset = 1
relay-log = mysql01-relay-bin
binlog_format = "STATEMENT"
replicate-ignore-db = information_schema
replicate-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
log_bin = /var/log/mysql/mysql-bin.log
slave-skip-errors = 1062

=== credentials.cnf ===
Op de server is root voor localhost voorzien van een wachtwoord om toch mysqldump en het mysql commando te kunnen gebruiken. De eigenaar van deze file is root:mysql met permissies 640.

=== tunning.cnf ===
Deze file bevat preformance tunning. Dit is server specifiek maar er moet in ieder geval deze regel in staan :
[mysqld]
skip-name-resolve = 1

= starten/herstellen replicatie =
== herstel ==
Bij herstellen moet je op beide servers de volgende sql commando's uitvoeren:
stop slave;
reset slave;
Doe op de '''defecte''' server verwijder je alle databases nadat je eerst een backup hebt gemaakt
=== start replicatie ===
Zorg er voor database niet meer benaderd/gemuteerd wordt. Zet hem uit in de loadbalancer zowel ipv4/ipv6
Hhaal bij de '''goede''' server de log positie op
mysql> show master status\G
*************************** 1. row ***************************
File: mysql-bin.000057
Position: 71061044
Binlog_Do_DB:
Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)
Noteer de file en position 
maak mysqldump en pipe die naar de gefaalde server
mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p
vul je wachtwoord in en de database wordt gedump naar de ander server dit kan effe duren.
Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl urser en postion bij master_log_pos en de file bi master_log_file
CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', '''MASTER_PASSWORD='******',''' '''MASTER_LOG_FILE='mysql-bin.000057',''' '''MASTER_LOG_POS=71061044,''' MASTER_SSL = 1 , MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
start slave;
Nu moeten we controleren of de replicatie deze kant op loopt, dit doe met commando
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql02-int.hobby.nl
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000026
Read_Master_Log_Pos: 72292974
Relay_Log_File: mysql01-relay-bin.000056
Relay_Log_Pos: 72293189
Relay_Master_Log_File: mysql-bin.000026
'''Slave_IO_Running: Yes'''
'''Slave_SQL_Running: Yes'''
Replicate_Do_DB:
Replicate_Ignore_DB: information_schema,mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 72292974
Relay_Log_Space: 72293447
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: Yes
Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
Master_SSL_CA_Path:
Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
Master_SSL_Cipher:
Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 2
Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)
controleer of Slave_IO_Running en Slave_SQL_Running op yes staan.
Als dit is het geval moeten replicatie naar de 1e server ook herstelen dit doe je de zelfde stappen te herhalen van af show master status

MySQL cluster

2020-11-22T14:40:28Z

Egbert: /* herstel */

=doel=
Om te zorgen dat onze database server ook volledig redundant is hebben we hier een cluster gemaakt, onze loadbalancer zorgt er voor dat verkeer of op db01 of op db02 terecht komt.
=opzet=

= loadbalancing =
Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server. 
'''belangrijk''' 
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database

= database clusters =
== dbclus01-int ==
Dit cluster bestaat uit mysql01 en mysql02

== hcc-dbclus02-int ==
Dit cluster bestaat uit mysql03 en mysql04
== dbclus04-int ==
Dit cluster bestaat uit mysql05 en mysql06

=configuratie =
== configuratie files ==
al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d
=== mysqld.cnf ===
In deze file hebben we 1 aanpassing gedaan we hebben
bind-address = 127.0.0.1
voorzien van commentaar
=== ssl.cnf ===
Mysql beschikt over ssl daarom is dit ook geconfigureerd, onder andere de replicatie gebruikt het. De ssl.cnf file ziet er zo uit:
[mysqld]
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key

=== replicatie.cnf ===
Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2. Er mogen nooit 2 de zelfde id's zijn. Ook is de waarde van auto-increment-offset belangrijk; bij de oneven server is dat 1 en bij even 2. 

Voor oneven server ziet hij er zo uit:
#sql mode uit voor toestaan lege velden
sql-mode = ""
server-id = 1
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset = 1
relay-log = mysql01-relay-bin
binlog_format = "STATEMENT"
replicate-ignore-db = information_schema
replicate-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
log_bin = /var/log/mysql/mysql-bin.log
slave-skip-errors = 1062

=== credentials.cnf ===
Op de server is root voor localhost voorzien van wachtwoord om toch mysqldump en het mysql account gebruiken deze file is eigenaar van root en groep mysql met permissies 640. HIER KOM IK NIET UIT.

=== tunning.cnf ===
Deze file bevat preformance tunning. Dit is server specifiek maar er moet in ieder geval deze regel in staan :
[mysqld]
skip-name-resolve = 1

= starten/herstellen replicatie =
== herstel ==
Bij herstellen moet je op beide servers de volgende sql commando's uitvoeren:
stop slave;
reset slave;
Doe op de '''defecte''' server verwijder je alle databases nadat je eerst een backup hebt gemaakt
=== start replicatie ===
Zorg er voor database niet meer benaderd/gemuteerd wordt. Zet hem uit in de loadbalancer zowel ipv4/ipv6
Hhaal bij de '''goede''' server de log positie op
mysql> show master status\G
*************************** 1. row ***************************
File: mysql-bin.000057
Position: 71061044
Binlog_Do_DB:
Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)
Noteer de file en position 
maak mysqldump en pipe die naar de gefaalde server
mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p
vul je wachtwoord in en de database wordt gedump naar de ander server dit kan effe duren.
Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl urser en postion bij master_log_pos en de file bi master_log_file
CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', '''MASTER_PASSWORD='******',''' '''MASTER_LOG_FILE='mysql-bin.000057',''' '''MASTER_LOG_POS=71061044,''' MASTER_SSL = 1 , MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
start slave;
Nu moeten we controleren of de replicatie deze kant op loopt, dit doe met commando
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql02-int.hobby.nl
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000026
Read_Master_Log_Pos: 72292974
Relay_Log_File: mysql01-relay-bin.000056
Relay_Log_Pos: 72293189
Relay_Master_Log_File: mysql-bin.000026
'''Slave_IO_Running: Yes'''
'''Slave_SQL_Running: Yes'''
Replicate_Do_DB:
Replicate_Ignore_DB: information_schema,mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 72292974
Relay_Log_Space: 72293447
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: Yes
Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
Master_SSL_CA_Path:
Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
Master_SSL_Cipher:
Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 2
Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)
controleer of Slave_IO_Running en Slave_SQL_Running op yes staan.
Als dit is het geval moeten replicatie naar de 1e server ook herstelen dit doe je de zelfde stappen te herhalen van af show master status

MySQL cluster

2020-11-22T14:37:33Z

Egbert: /* tunning.cnf */

=doel=
Om te zorgen dat onze database server ook volledig redundant is hebben we hier een cluster gemaakt, onze loadbalancer zorgt er voor dat verkeer of op db01 of op db02 terecht komt.
=opzet=

= loadbalancing =
Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server. 
'''belangrijk''' 
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database

= database clusters =
== dbclus01-int ==
Dit cluster bestaat uit mysql01 en mysql02

== hcc-dbclus02-int ==
Dit cluster bestaat uit mysql03 en mysql04
== dbclus04-int ==
Dit cluster bestaat uit mysql05 en mysql06

=configuratie =
== configuratie files ==
al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d
=== mysqld.cnf ===
In deze file hebben we 1 aanpassing gedaan we hebben
bind-address = 127.0.0.1
voorzien van commentaar
=== ssl.cnf ===
Mysql beschikt over ssl daarom is dit ook geconfigureerd, onder andere de replicatie gebruikt het. De ssl.cnf file ziet er zo uit:
[mysqld]
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key

=== replicatie.cnf ===
Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2. Er mogen nooit 2 de zelfde id's zijn. Ook is de waarde van auto-increment-offset belangrijk; bij de oneven server is dat 1 en bij even 2. 

Voor oneven server ziet hij er zo uit:
#sql mode uit voor toestaan lege velden
sql-mode = ""
server-id = 1
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset = 1
relay-log = mysql01-relay-bin
binlog_format = "STATEMENT"
replicate-ignore-db = information_schema
replicate-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
log_bin = /var/log/mysql/mysql-bin.log
slave-skip-errors = 1062

=== credentials.cnf ===
Op de server is root voor localhost voorzien van wachtwoord om toch mysqldump en het mysql account gebruiken deze file is eigenaar van root en groep mysql met permissies 640. HIER KOM IK NIET UIT.

=== tunning.cnf ===
Deze file bevat preformance tunning. Dit is server specifiek maar er moet in ieder geval deze regel in staan :
[mysqld]
skip-name-resolve = 1

= starten/herstellen replicatie =
== herstel ==
Bij herstellen doe je op beide servers de volgende sql commando's uivoeren
stop slave;
reset slave;
Doe op de '''defecte''' server verwijder alle databases maak wel eerst een backup voor zekerheid
=== start replactie ===
Zorg er voor database niet meer benaderd/gemuteerd wordt zet hem uit in de loadbalancer zowel ipv4/ipv6
Doe haal bij '''goede''' server de log postie op
mysql> show master status\G
*************************** 1. row ***************************
File: mysql-bin.000057
Position: 71061044
Binlog_Do_DB:
Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)
Noteer de file en position 
maak mysqldump en pipe die naar de gefaalde server
mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p
vul je wachtwoord in en de database wordt gedump naar de ander server dit kan effe duren.
Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl urser en postion bij master_log_pos en de file bi master_log_file
CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', '''MASTER_PASSWORD='******',''' '''MASTER_LOG_FILE='mysql-bin.000057',''' '''MASTER_LOG_POS=71061044,''' MASTER_SSL = 1 , MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
start slave;
Nu moeten we controleren of de replicatie deze kant op loopt, dit doe met commando
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql02-int.hobby.nl
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000026
Read_Master_Log_Pos: 72292974
Relay_Log_File: mysql01-relay-bin.000056
Relay_Log_Pos: 72293189
Relay_Master_Log_File: mysql-bin.000026
'''Slave_IO_Running: Yes'''
'''Slave_SQL_Running: Yes'''
Replicate_Do_DB:
Replicate_Ignore_DB: information_schema,mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 72292974
Relay_Log_Space: 72293447
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: Yes
Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
Master_SSL_CA_Path:
Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
Master_SSL_Cipher:
Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 2
Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)
controleer of Slave_IO_Running en Slave_SQL_Running op yes staan.
Als dit is het geval moeten replicatie naar de 1e server ook herstelen dit doe je de zelfde stappen te herhalen van af show master status

MySQL cluster

2020-11-22T14:36:16Z

Egbert: /* credentials.cnf */

=doel=
Om te zorgen dat onze database server ook volledig redundant is hebben we hier een cluster gemaakt, onze loadbalancer zorgt er voor dat verkeer of op db01 of op db02 terecht komt.
=opzet=

= loadbalancing =
Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server. 
'''belangrijk''' 
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database

= database clusters =
== dbclus01-int ==
Dit cluster bestaat uit mysql01 en mysql02

== hcc-dbclus02-int ==
Dit cluster bestaat uit mysql03 en mysql04
== dbclus04-int ==
Dit cluster bestaat uit mysql05 en mysql06

=configuratie =
== configuratie files ==
al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d
=== mysqld.cnf ===
In deze file hebben we 1 aanpassing gedaan we hebben
bind-address = 127.0.0.1
voorzien van commentaar
=== ssl.cnf ===
Mysql beschikt over ssl daarom is dit ook geconfigureerd, onder andere de replicatie gebruikt het. De ssl.cnf file ziet er zo uit:
[mysqld]
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key

=== replicatie.cnf ===
Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2. Er mogen nooit 2 de zelfde id's zijn. Ook is de waarde van auto-increment-offset belangrijk; bij de oneven server is dat 1 en bij even 2. 

Voor oneven server ziet hij er zo uit:
#sql mode uit voor toestaan lege velden
sql-mode = ""
server-id = 1
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset = 1
relay-log = mysql01-relay-bin
binlog_format = "STATEMENT"
replicate-ignore-db = information_schema
replicate-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
log_bin = /var/log/mysql/mysql-bin.log
slave-skip-errors = 1062

=== credentials.cnf ===
Op de server is root voor localhost voorzien van wachtwoord om toch mysqldump en het mysql account gebruiken deze file is eigenaar van root en groep mysql met permissies 640. HIER KOM IK NIET UIT.

=== tunning.cnf ===
In deze file bevat preformance tunning dit server specifiek maar er moet iedergeval deze regels in staan :
[mysqld]
skip-name-resolve = 1

= starten/herstellen replicatie =
== herstel ==
Bij herstellen doe je op beide servers de volgende sql commando's uivoeren
stop slave;
reset slave;
Doe op de '''defecte''' server verwijder alle databases maak wel eerst een backup voor zekerheid
=== start replactie ===
Zorg er voor database niet meer benaderd/gemuteerd wordt zet hem uit in de loadbalancer zowel ipv4/ipv6
Doe haal bij '''goede''' server de log postie op
mysql> show master status\G
*************************** 1. row ***************************
File: mysql-bin.000057
Position: 71061044
Binlog_Do_DB:
Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)
Noteer de file en position 
maak mysqldump en pipe die naar de gefaalde server
mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p
vul je wachtwoord in en de database wordt gedump naar de ander server dit kan effe duren.
Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl urser en postion bij master_log_pos en de file bi master_log_file
CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', '''MASTER_PASSWORD='******',''' '''MASTER_LOG_FILE='mysql-bin.000057',''' '''MASTER_LOG_POS=71061044,''' MASTER_SSL = 1 , MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
start slave;
Nu moeten we controleren of de replicatie deze kant op loopt, dit doe met commando
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql02-int.hobby.nl
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000026
Read_Master_Log_Pos: 72292974
Relay_Log_File: mysql01-relay-bin.000056
Relay_Log_Pos: 72293189
Relay_Master_Log_File: mysql-bin.000026
'''Slave_IO_Running: Yes'''
'''Slave_SQL_Running: Yes'''
Replicate_Do_DB:
Replicate_Ignore_DB: information_schema,mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 72292974
Relay_Log_Space: 72293447
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: Yes
Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
Master_SSL_CA_Path:
Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
Master_SSL_Cipher:
Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 2
Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)
controleer of Slave_IO_Running en Slave_SQL_Running op yes staan.
Als dit is het geval moeten replicatie naar de 1e server ook herstelen dit doe je de zelfde stappen te herhalen van af show master status

MySQL cluster

2020-11-22T14:35:02Z

Egbert: /* replicatie.cnf */

=doel=
Om te zorgen dat onze database server ook volledig redundant is hebben we hier een cluster gemaakt, onze loadbalancer zorgt er voor dat verkeer of op db01 of op db02 terecht komt.
=opzet=

= loadbalancing =
Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server. 
'''belangrijk''' 
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database

= database clusters =
== dbclus01-int ==
Dit cluster bestaat uit mysql01 en mysql02

== hcc-dbclus02-int ==
Dit cluster bestaat uit mysql03 en mysql04
== dbclus04-int ==
Dit cluster bestaat uit mysql05 en mysql06

=configuratie =
== configuratie files ==
al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d
=== mysqld.cnf ===
In deze file hebben we 1 aanpassing gedaan we hebben
bind-address = 127.0.0.1
voorzien van commentaar
=== ssl.cnf ===
Mysql beschikt over ssl daarom is dit ook geconfigureerd, onder andere de replicatie gebruikt het. De ssl.cnf file ziet er zo uit:
[mysqld]
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key

=== replicatie.cnf ===
Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2. Er mogen nooit 2 de zelfde id's zijn. Ook is de waarde van auto-increment-offset belangrijk; bij de oneven server is dat 1 en bij even 2. 

Voor oneven server ziet hij er zo uit:
#sql mode uit voor toestaan lege velden
sql-mode = ""
server-id = 1
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset = 1
relay-log = mysql01-relay-bin
binlog_format = "STATEMENT"
replicate-ignore-db = information_schema
replicate-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
log_bin = /var/log/mysql/mysql-bin.log
slave-skip-errors = 1062

=== credentials.cnf ===
Op de server is root voor localhost voor zien van wachtwoord om toch mysqldump en het mysql account gebruiken deze file is eigenaar van root en groep mysql met permissies 640.
=== tunning.cnf ===
In deze file bevat preformance tunning dit server specifiek maar er moet iedergeval deze regels in staan :
[mysqld]
skip-name-resolve = 1

= starten/herstellen replicatie =
== herstel ==
Bij herstellen doe je op beide servers de volgende sql commando's uivoeren
stop slave;
reset slave;
Doe op de '''defecte''' server verwijder alle databases maak wel eerst een backup voor zekerheid
=== start replactie ===
Zorg er voor database niet meer benaderd/gemuteerd wordt zet hem uit in de loadbalancer zowel ipv4/ipv6
Doe haal bij '''goede''' server de log postie op
mysql> show master status\G
*************************** 1. row ***************************
File: mysql-bin.000057
Position: 71061044
Binlog_Do_DB:
Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)
Noteer de file en position 
maak mysqldump en pipe die naar de gefaalde server
mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p
vul je wachtwoord in en de database wordt gedump naar de ander server dit kan effe duren.
Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl urser en postion bij master_log_pos en de file bi master_log_file
CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', '''MASTER_PASSWORD='******',''' '''MASTER_LOG_FILE='mysql-bin.000057',''' '''MASTER_LOG_POS=71061044,''' MASTER_SSL = 1 , MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
start slave;
Nu moeten we controleren of de replicatie deze kant op loopt, dit doe met commando
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql02-int.hobby.nl
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000026
Read_Master_Log_Pos: 72292974
Relay_Log_File: mysql01-relay-bin.000056
Relay_Log_Pos: 72293189
Relay_Master_Log_File: mysql-bin.000026
'''Slave_IO_Running: Yes'''
'''Slave_SQL_Running: Yes'''
Replicate_Do_DB:
Replicate_Ignore_DB: information_schema,mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 72292974
Relay_Log_Space: 72293447
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: Yes
Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
Master_SSL_CA_Path:
Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
Master_SSL_Cipher:
Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 2
Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)
controleer of Slave_IO_Running en Slave_SQL_Running op yes staan.
Als dit is het geval moeten replicatie naar de 1e server ook herstelen dit doe je de zelfde stappen te herhalen van af show master status

MySQL cluster

2020-11-22T14:32:01Z

Egbert: /* ssl.cnf */

=doel=
Om te zorgen dat onze database server ook volledig redundant is hebben we hier een cluster gemaakt, onze loadbalancer zorgt er voor dat verkeer of op db01 of op db02 terecht komt.
=opzet=

= loadbalancing =
Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server. 
'''belangrijk''' 
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database

= database clusters =
== dbclus01-int ==
Dit cluster bestaat uit mysql01 en mysql02

== hcc-dbclus02-int ==
Dit cluster bestaat uit mysql03 en mysql04
== dbclus04-int ==
Dit cluster bestaat uit mysql05 en mysql06

=configuratie =
== configuratie files ==
al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d
=== mysqld.cnf ===
In deze file hebben we 1 aanpassing gedaan we hebben
bind-address = 127.0.0.1
voorzien van commentaar
=== ssl.cnf ===
Mysql beschikt over ssl daarom is dit ook geconfigureerd, onder andere de replicatie gebruikt het. De ssl.cnf file ziet er zo uit:
[mysqld]
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key

=== replicatie.cnf ===
Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2 er mogen nooit 2 de zelfde id's zijn. ook is het van auto-increment-offset belangrijk bij oneven is dat 1 en bij even2. 
voor oneven server ziet hij er zo uit:
#sql mode uit voor toestaan lege velden
sql-mode = ""
server-id = 1
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset = 1
relay-log = mysql01-relay-bin
binlog_format = "STATEMENT"
replicate-ignore-db = information_schema
replicate-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
log_bin = /var/log/mysql/mysql-bin.log
slave-skip-errors = 1062
=== credentials.cnf ===
Op de server is root voor localhost voor zien van wachtwoord om toch mysqldump en het mysql account gebruiken deze file is eigenaar van root en groep mysql met permissies 640.
=== tunning.cnf ===
In deze file bevat preformance tunning dit server specifiek maar er moet iedergeval deze regels in staan :
[mysqld]
skip-name-resolve = 1

= starten/herstellen replicatie =
== herstel ==
Bij herstellen doe je op beide servers de volgende sql commando's uivoeren
stop slave;
reset slave;
Doe op de '''defecte''' server verwijder alle databases maak wel eerst een backup voor zekerheid
=== start replactie ===
Zorg er voor database niet meer benaderd/gemuteerd wordt zet hem uit in de loadbalancer zowel ipv4/ipv6
Doe haal bij '''goede''' server de log postie op
mysql> show master status\G
*************************** 1. row ***************************
File: mysql-bin.000057
Position: 71061044
Binlog_Do_DB:
Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)
Noteer de file en position 
maak mysqldump en pipe die naar de gefaalde server
mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p
vul je wachtwoord in en de database wordt gedump naar de ander server dit kan effe duren.
Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl urser en postion bij master_log_pos en de file bi master_log_file
CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', '''MASTER_PASSWORD='******',''' '''MASTER_LOG_FILE='mysql-bin.000057',''' '''MASTER_LOG_POS=71061044,''' MASTER_SSL = 1 , MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
start slave;
Nu moeten we controleren of de replicatie deze kant op loopt, dit doe met commando
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql02-int.hobby.nl
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000026
Read_Master_Log_Pos: 72292974
Relay_Log_File: mysql01-relay-bin.000056
Relay_Log_Pos: 72293189
Relay_Master_Log_File: mysql-bin.000026
'''Slave_IO_Running: Yes'''
'''Slave_SQL_Running: Yes'''
Replicate_Do_DB:
Replicate_Ignore_DB: information_schema,mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 72292974
Relay_Log_Space: 72293447
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: Yes
Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
Master_SSL_CA_Path:
Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
Master_SSL_Cipher:
Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 2
Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)
controleer of Slave_IO_Running en Slave_SQL_Running op yes staan.
Als dit is het geval moeten replicatie naar de 1e server ook herstelen dit doe je de zelfde stappen te herhalen van af show master status

MySQL cluster

2020-11-22T14:30:13Z

Egbert: /* loadbalancing */

=doel=
Om te zorgen dat onze database server ook volledig redundant is hebben we hier een cluster gemaakt, onze loadbalancer zorgt er voor dat verkeer of op db01 of op db02 terecht komt.
=opzet=

= loadbalancing =
Onze servers zijn opgezet in een master-master setup, dus er kan op beide gemuteerd worden, de loadbalancer verspreid de mutatie naar de andere server. 
'''belangrijk''' 
Op alle clusters moet database lbtest aanwezig zijn met tabel lbtest. Deze tabel moet minimaal 1 record hebben, hier test de loadbalancer namelijk op. De usernaam voor loadbalancer en nagios is lbtest met ww Testing123! deze gebruiker heeft alleen select rechten op deze database

= database clusters =
== dbclus01-int ==
Dit cluster bestaat uit mysql01 en mysql02

== hcc-dbclus02-int ==
Dit cluster bestaat uit mysql03 en mysql04
== dbclus04-int ==
Dit cluster bestaat uit mysql05 en mysql06

=configuratie =
== configuratie files ==
al deze bestanden bevinden zich in /etc/mysql/mysql.conf.d
=== mysqld.cnf ===
In deze file hebben we 1 aanpassing gedaan we hebben
bind-address = 127.0.0.1
voorzien van commentaar
=== ssl.cnf ===
mysql beschikt over ssl daarom hebben dit geconfigureerd, onder andere de replicatie loopt over ssl file ziet er zo uit:
[mysqld]
ssl-ca=/disk/site/etc/ssl/hobby.nl/CA-bundel.crt
ssl-cert=/disk/site/etc/ssl/hobby.nl/hobby.nl.crt
ssl-key=/disk/site/etc/ssl/hobby.nl/hobby.nl.key
=== replicatie.cnf ===
Bij de replicatie is het belangrijk dat de oneven servers het server id 1 hebben en de even server id 2 er mogen nooit 2 de zelfde id's zijn. ook is het van auto-increment-offset belangrijk bij oneven is dat 1 en bij even2. 
voor oneven server ziet hij er zo uit:
#sql mode uit voor toestaan lege velden
sql-mode = ""
server-id = 1
replicate-same-server-id = 0
auto-increment-increment = 2
auto-increment-offset = 1
relay-log = mysql01-relay-bin
binlog_format = "STATEMENT"
replicate-ignore-db = information_schema
replicate-ignore-db = mysql
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
log_bin = /var/log/mysql/mysql-bin.log
slave-skip-errors = 1062
=== credentials.cnf ===
Op de server is root voor localhost voor zien van wachtwoord om toch mysqldump en het mysql account gebruiken deze file is eigenaar van root en groep mysql met permissies 640.
=== tunning.cnf ===
In deze file bevat preformance tunning dit server specifiek maar er moet iedergeval deze regels in staan :
[mysqld]
skip-name-resolve = 1

= starten/herstellen replicatie =
== herstel ==
Bij herstellen doe je op beide servers de volgende sql commando's uivoeren
stop slave;
reset slave;
Doe op de '''defecte''' server verwijder alle databases maak wel eerst een backup voor zekerheid
=== start replactie ===
Zorg er voor database niet meer benaderd/gemuteerd wordt zet hem uit in de loadbalancer zowel ipv4/ipv6
Doe haal bij '''goede''' server de log postie op
mysql> show master status\G
*************************** 1. row ***************************
File: mysql-bin.000057
Position: 71061044
Binlog_Do_DB:
Binlog_Ignore_DB: information_schema,mysql
Executed_Gtid_Set:
1 row in set (0.00 sec)
Noteer de file en position 
maak mysqldump en pipe die naar de gefaalde server
mysqldump --all-databases |mysql -h mysql0*-int -u jegebruikersnaam -p
vul je wachtwoord in en de database wordt gedump naar de ander server dit kan effe duren.
Op de andere server log je nu in en geef je het volgende commando's in mysql, vul dan het password in van repl urser en postion bij master_log_pos en de file bi master_log_file
CHANGE MASTER TO MASTER_HOST='mysql0*-int.hobby.nl', MASTER_USER='repl', '''MASTER_PASSWORD='******',''' '''MASTER_LOG_FILE='mysql-bin.000057',''' '''MASTER_LOG_POS=71061044,''' MASTER_SSL = 1 , MASTER_SSL_CA = '/disk/site/etc/ssl/hobby.nl/CA-bundel.crt', MASTER_SSL_CERT = '/disk/site/etc/ssl/hobby.nl/hobby.nl.crt', MASTER_SSL_KEY = '/disk/site/etc/ssl/hobby.nl/hobby.nl.key';
start slave;
Nu moeten we controleren of de replicatie deze kant op loopt, dit doe met commando
mysql> show slave status\G
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: mysql02-int.hobby.nl
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000026
Read_Master_Log_Pos: 72292974
Relay_Log_File: mysql01-relay-bin.000056
Relay_Log_Pos: 72293189
Relay_Master_Log_File: mysql-bin.000026
'''Slave_IO_Running: Yes'''
'''Slave_SQL_Running: Yes'''
Replicate_Do_DB:
Replicate_Ignore_DB: information_schema,mysql
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 72292974
Relay_Log_Space: 72293447
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: Yes
Master_SSL_CA_File: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
Master_SSL_CA_Path:
Master_SSL_Cert: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
Master_SSL_Cipher:
Master_SSL_Key: /disk/site/etc/ssl/hobby.nl/hobby.nl.key
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 2
Master_UUID: f0de239e-2c10-11eb-b1d1-005056a982be
Master_Info_File: mysql.slave_master_info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
Master_public_key_path:
Get_master_public_key: 0
Network_Namespace:
1 row in set, 1 warning (0.00 sec)
controleer of Slave_IO_Running en Slave_SQL_Running op yes staan.
Als dit is het geval moeten replicatie naar de 1e server ook herstelen dit doe je de zelfde stappen te herhalen van af show master status

Roundcube Webmail

2020-10-29T14:17:48Z

Egbert: /* Upgrading Roundcube webmail */

==Upgrading Roundcube webmail==
Roundcube wordt niet via de standaard repo's geupdate maar via een tar.gz distributie. Deze kan worden gedownload van [http://roundcube.net/ de Roundcube site]. Makkelijkste is een wget van de url in je eigen home dir te doen op de mail servers.

* Maak een backup van de webtree met cp -Rp /disk/site/mail/roundcube /disk/site/mail/roundcube.old.
* Maak een backup van de database: mysqldump -h 127.0.0.1 roundcube >roundcube.sql (aangenomen dat je root bent...)
* wget https://github.com/roundcube/roundcubemail/releases/download/1.4.9/roundcubemail-1.4.9-complete.tar.gz (of nieuwer)
* Pak de tarball uit: tar zxf ...
* cd in de net ontstane directory.
* Lees UPGRADING en INSTALL.
* run het script '''./bin/installto.sh /disk/site/mail/roundcube'''.
* controleer owner /disk/site/mail/roundcube. Zet de hele tree op www-data:www-data, indien nodig. Gebruik daarvoor'''chown -R www-data:www-data /disk/site/mail/roundcube'''
* werk de adresboek indexen bij door '''./bin/indexcontacts.sh''' uit te voeren '''in de life webtree'''.
* ruim voorlaatste versie op nadat de nieuwe release getest is.

Dat is alles.

Roundcube Webmail

2020-08-11T16:22:47Z

Egbert: /* Upgrading Roundcube webmail */

==Upgrading Roundcube webmail==
Roundcube wordt niet via de standaard repo's geupdate maar via een tar.gz distributie. Deze kan worden gedownload van [http://roundcube.net/ de Roundcube site]. Makkelijkste is een wget van de url in je eigen home dir te doen op de mail servers.

* Maak een backup van de webtree met cp -Rp /disk/site/mail/roundcube /disk/site/mail/roundcube.old.
* Maak een backup van de database: mysqldump -h 127.0.0.1 roundcube >roundcube.sql (aangenomen dat je root bent...)
* wget https://github.com/roundcube/roundcubemail/releases/download/1.4.8/roundcubemail-1.4.8-complete.tar.gz (of nieuwer)
* Pak de tarball uit: tar zxf ...
* cd in de net ontstane directory.
* Lees UPGRADING en INSTALL.
* run het script '''./bin/installto.sh /disk/site/mail/roundcube'''.
* controleer owner /disk/site/mail/roundcube. Zet de hele tree op www-data:www-data, indien nodig. Gebruik daarvoor'''chown -R www-data:www-data /disk/site/mail/roundcube'''
* werk de adresboek indexen bij door '''./bin/indexcontacts.sh''' uit te voeren '''in de life webtree'''.
* ruim voorlaatste versie op nadat de nieuwe release getest is.

Dat is alles.

Roundcube Webmail

2020-08-11T16:22:25Z

Egbert: /* Upgrading Roundcube webmail */

==Upgrading Roundcube webmail==
Roundcube wordt niet via de standaard repo's geupdate maar via een tar.gz distributie. Deze kan worden gedownload van [http://roundcube.net/ de Roundcube site]. Makkelijkste is een wget van de url in je eigen home dir te doen op de mail servers.

* Maak een backup van de webtree met cp -Rp /disk/site/mail/roundcube /disk/site/mail/roundcube.old.
* Maak een backup van de database: mysqldump -h 127.0.0.1 roundcube >roundcube.sql (aangenomen dat je root bent...)
* wget https://github.com/roundcube/roundcubemail/releases/download/1.4.8/roundcubemail-1.4.8-complete.tar.gz (of nieuwer)
* Pak de tarball uit: tar zxf ...
* cd in de net ontstane directory.
* Lees UPGRADING en INSTALL.
* run het script '''./bin/installto.sh /disk/site/mail/roundcube'''.
* controleer owner /disk/site/mail/roundcube. Zet de hele tree op www-data:www-data, indien nodig.
Gebruik daarvoor'''chown -R www-data:www-data /disk/site/mail/roundcube'''
* werk de adresboek indexen bij door '''./bin/indexcontacts.sh''' uit te voeren '''in de life webtree'''.
* ruim voorlaatste versie op nadat de nieuwe release getest is.

Dat is alles.

Roundcube Webmail

2020-08-11T15:54:00Z

Egbert: /* Upgrading Roundcube webmail */

==Upgrading Roundcube webmail==
Roundcube wordt niet via de standaard repo's geupdate maar via een tar.gz distributie. Deze kan worden gedownload van [http://roundcube.net/ de Roundcube site]. Makkelijkste is een wget van de url in je eigen home dir te doen op de mail servers.

* Maak een backup van de webtree met cp -Rp /disk/site/mail/roundcube /disk/site/mail/roundcube.old.
* Maak een backup van de database: mysqldump -u roundcube-db -h 127.0.0.1 -p roundcube >roundcube.sql (misschien is user root nodig vbs20200811)
* wget https://github.com/roundcube/roundcubemail/releases/download/1.4.8/roundcubemail-1.4.8-complete.tar.gz (of nieuwer)
* Pak de tarball uit: tar zxf ...
* cd in de net ontstane directory.
* Lees UPGRADING en INSTALL.
* ---Niet meer van toepassing. Het in de instructies genomede command: ./bin/installto.sh /disk/site/mail/roundcube werkt niet door de blokkering van sommige PHP calls.
* ---Niet meer van toepassing. Schakel de disable regel even uit om de update te doen, door er een ";" voor te plaatsen op of nabij regel 385 met '''vi /etc/php/7.0/cli/php.ini'''.
* run het script '''./bin/installto.sh /disk/site/mail/roundcube'''.
* ---Niet meer van toepassing. activeer de zojuist uigeschakelde disable regel weer.
* controleer owner /disk/site/mail/roundcube. Zet de hele tree op www-data:www-data, indien nodig. '''chown -R www-data:www-data /disk/site/mail/roundcube'''
* werk de adresboek indexen bij door '''./bin/indexcontacts.sh''' uit te voeren '''in de life webtree'''.
* ruim voorlaatste versie op nadat de nieuwe release getest is.

Dat is alles.

Uitleg scripts

2020-04-18T09:49:02Z

Egbert: /* gen_alias */

==Introductie==
De scripting is er op gericht een aantal tabellen te vullen in de postfixadmin database. De tabellen zijn in eerste instantie helemaal standaard gehouden zoals postfixadmin ze aanmaakt bij de installatie. Postfixadmin kan worden gebruikt om veranderingen in de data aan te brengen. Later zijn enkele velden toegevoegd voor het specifieke gebruik binnen Hobbynet. Voornamelijk om het creëren van tekst bestanden als bron bestanden aan te maken.

===Proces===
Het hele proces is gericht op het behoud van (mogelijk gewijzigde) data. In de aanloop fase werden de platte tekst bestanden met de hand bijgehouden waarna de database tabellen gegenereerd werden. In de test fase werden de uit de database gemaakte tekst bestanden vergeleken met de originele bestanden. In de productie fase zijn er geen originele tekst bestanden meer; de vorige versie wordt veilig gesteld en daarna vervangen door de verse dump uit de database. Op die wijze worden nieuwe records meegenomen die met PostfixAdmin in de database zijn gemaakt. De laatst bekende data in de database wordt namelijk eerst gedumpt naar tekst bestanden, die vervolgens weer worden gebruikt om de database te laden. De externe bestanden hobbyabon.txt (was husers) en kaderfunc.txt (was b3a.txt) zijn hier een uitzondering op; die worden nooit overschreven maar door het script '''upd_mailserver''' op de LDAP server geplaatst. '''upd_smail''' op de mailserver doet de rest. 
Zie ook de pagina [[bronbestanden]].

===Locatie van de bestanden===
De bron bestanden: '''kaderfunc.txt''', '''hobbyabon.txt''' staan in de data directory (via scp van hcc-ldap-lb1 afkomstig), '''extra_alias_domains.txt''', '''extra_aliases.txt''', '''scouthout_aliases.txt''' en de '''_header/_footer''' bestanden (.tmpl) staan ook in '''/usr/local/hobbynet/data''' directory.

De scripts staan in '''/usr/local/hobbynet/local'''. De backups van de database en tekst bestanden komen in '''/usr/local/hobbynet/data/backup''' terecht. De door de scripts gegenereerde MySQL bestanden komen in '''/usr/local/hobbynet/data/loader'''.

De bestanden in de backup directory moeten geregeld opgeruimd worden; er zit geen limiet op het aantal versies. In de backup directory staat ook een script om een versie van een bepaalde datum/tijd snel terug te zetten waarna '''upd_smail''' de database herlaadt.

===Scripts===
De (perl) scripts zijn bewust kort en simpel gehouden om ze zo modulair mogelijk te maken. De tactiek is telkens hetzelfde: bij elk te maken SQL loader bestand is er een header, tussenliggende gelijksoortige data regels en een footer te onderscheiden.
* De header is alle tekst die door een MySQL dump gemaakt wordt (met een delete-if-exists erin), tot en met de eerste SQL regel: INSERT INTO...VALUES.
* De diverse scripts voegen de tussenliggende data regels toe.
* De footer is gewoonlijk een laatste data regel maar dan eindigend op ''';''' in plaats van ''',''' en de afsluitende regels van de dump.
Een dergelijk SQL loader bestand is zonder meer terug te laden in MySQL. De tabel wordt eerst weggegooid en wordt daarna opnieuw aangemaakt.

==upd_smail==
Dit script is het overkoepelende script dat alle '''dump_*''' en '''gen_*''' scripts uitvoert en mysql aanroept om de database te laden. '''upd_smail''' op zijn beurt wordt weer door '''upd_all''' aangeroepen. In dit '''upd_smail''' script worden vóórdat de tabellen vanaf scratch worden opgebouwd, de 4 tabellen veilig gesteld in een backup directory. Tevens worden tekst bestanden aangemaakt van die delen van de database die met de hand veranderd kunnen zijn. Het uitgangspunt is hier dat de database de echte waarheid is en de bronbestanden achter kunnen lopen.

Het '''all_domains.txt''' bestand bevat de domeinen waar HCC voor betaalt aan SIDN. Ook de benodigde speciale subdomeinen staan in het all_domains.txt bestand.

Per tabel worden de SQL header files samengevoegd met de output van de verschillende gen_* scripts. Tenslotte wordt een SQL footer toegevoegd, vaak alleen om de SQL te beëindigen met een ''';'''. Daarna wordt de tabel in MySQL aangemaakt en de data geladen. De
tabellen worden dus in z'n geheel vervangen. Als laatste wordt een soort van '''virtalias''' bestand voor Roundcube gemaakt. Hieronder de complete '''upd_smail''' (slechts als referentie, kijk altijd naar het script op de server zelf):
<pre>
#!/bin/sh
#
# $Id: /usr/local/hobbynet/bin/upd_smail $
#
# Driver voor alle subtaken dump... en gen....
#
# usage: ./upd_smail
#

CHOWN=/bin/chown
CHMOD=/bin/chmod

HNET=/usr/local/hobbynet
HNET_BIN=$HNET/bin
HNET_LIB=$HNET/lib
HNET_BCK=$HNET/lib/backup
HNET_LDR=$HNET/lib/loader

ID=$(date +"%Y%m%d-%H%M%S")

cd $HNET_LIB

#
# save all 4 tables with unique name
#
mysqldump -u postfixadmin -ppassword -c postfixadmin mailbox >$HNET_BCK/mailbox_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias >$HNET_BCK/alias_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin domain >$HNET_BCK/domain_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias_domain >$HNET_BCK/alias_domain_$ID.sql
#
# save extra mailboxes
#
echo "Saving extra mailboxess..."
cp $HNET_LIB/extra_mailboxes.txt $HNET_BCK/extra_mailboxes_$ID.txt
$HNET_BIN/dump_extra_mailboxes | sort >$HNET_LIB/extra_mailboxes.txt
#
# save scouthout aliases
#
echo "Saving scouthout aliases..."
cp $HNET_LIB/scouthout_aliases.txt $HNET_BCK/scouthout_aliases_$ID.txt
$HNET_BIN/dump_scouthout_aliases | sort >$HNET_LIB/scouthout_aliases.txt
#
# save new and extra aliases
#
echo "Saving new and extra aliases..."
cp $HNET_LIB/extra_aliases.txt $HNET_BCK/extra_aliases_$ID.txt
$HNET_BIN/dump_extra_aliases | sort >$HNET_LIB/extra_aliases.txt
#
# save hcc and other domains
#
echo "Saving hcc and other domains..."
cp $HNET_LIB/all_domains.txt $HNET_BCK/all_domains_$ID.txt
$HNET_BIN/dump_all_domains | sort >$HNET_LIB/all_domains.txt
#
# save new and extra domain_aliases
#
echo "Saving new and extra domain_aliases..."
cp $HNET_LIB/extra_alias_domains.txt $HNET_BCK/extra_alias_domains_$ID.txt
$HNET_BIN/dump_extra_alias_domains | sort >$HNET_LIB/extra_alias_domains.txt
#
# prepare emergency backup procedure (here-doecument)
#
cat > $HNET_BCK/restore_$ID <<END
#!/bin/bash
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/mailbox_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/domain_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_domain_$ID.sql
cp $HNET_BCK/extra_mailboxes_$ID.txt $HNET_LIB/extra_mailboxes.txt
cp $HNET_BCK/scouthout_aliases_$ID.txt $HNET_LIB/scouthout_aliases.txt
cp $HNET_BCK/extra_aliases_$ID.txt $HNET_LIB/extra_aliases.txt
cp $HNET_BCK/all_domains_$ID.txt $HNET_LIB/all_domains.txt
cp $HNET_BCK/extra_alias_domains_$ID.txt $HNET_LIB/extra_alias_domains.txt
END
chmod 755 $HNET_BCK/restore_$ID
#
# build all 4 tables from input files
#
echo "Building mailbox table for Hobbynet/Kadernet..."
cp $HNET_LIB/mailbox_header.tmpl $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox2 | sort | uniq >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_extra_mailbox >> $HNET_LDR/mailbox.sql
cat $HNET_LIB/mailbox_footer.tmpl >> $HNET_LDR/mailbox.sql
$CHMOD 644 $HNET_LDR/mailbox.sql
$CHOWN root:root $HNET_LDR/mailbox.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/mailbox.sql
#
echo "Building alias table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_header.tmpl $HNET_LDR/alias.sql
$HNET_BIN/gen_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_hobbynet_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_www_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_extra_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_scouthout_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_alias2 | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_func_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_best_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_group_alias | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ledenraad_alias >> $HNET_LDR/alias.sql
# use temporary file with unique mail addresses
cut --delimiter="," --field=4 $HNET_LIB/kaderfunc.txt | sort | uniq > $HNET_LIB/kaderfunc-sorted.txt
$HNET_BIN/gen_fff_kadernet_alias >> $HNET_LDR/alias.sql
rm $HNET_LIB/kaderfunc-sorted.txt
#
cat $HNET_LIB/alias_footer.tmpl >> $HNET_LDR/alias.sql
$CHMOD 644 $HNET_LDR/alias.sql
$CHOWN root:root $HNET_LDR/alias.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_LDR/alias.sql
#
echo "Building domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/domain_header.tmpl $HNET_LDR/domain.sql
$HNET_BIN/gen_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_all_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_domain2 >> $HNET_LDR/domain.sql
cat $HNET_LIB/domain_footer.tmpl >> $HNET_LDR/domain.sql
$CHMOD 644 $HNET_LDR/domain.sql
$CHOWN root:root $HNET_LDR/domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/domain.sql
#
echo "Building alias_domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_domain_header.tmpl $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_extra_alias_domain >> $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_alias_domain2 >> $HNET_LDR/alias_domain.sql
cat $HNET_LIB/alias_domain_footer.tmpl >> $HNET_LDR/alias_domain.sql
$CHMOD 644 $HNET_LDR/alias_domain.sql
$CHOWN root:root $HNET_LDR/alias_domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/alias_domain.sql
#
echo ""
echo "Building systemusers for Roundcube..."
cp $HNET_LIB/systemusers.tmpl $HNET_LIB/systemusers
$HNET_BIN/gen_systemusers >> $HNET_LIB/systemusers
$CHMOD 644 $HNET_LIB/systemusers
$CHOWN root:root $HNET_LIB/systemusers
#
echo ""
echo "Dumping transport for mail-dev..."
$HNET_BIN/dump_transport >$HNET_LIB/transport
cp /etc/postfix/transport /etc/postfix/transport.old
cp $HNET_LIB/transport /etc/postfix/transport
postmap /etc/postfix/transport
#
echo "Dumping relay_recipients for mail-dev..."
$HNET_BIN/dump_relay_recipients >$HNET_LIB/relay_recipients
cp /etc/postfix/relay_recipients /etc/postfix/relay_recipients.old
cp $HNET_LIB/relay_recipients /etc/postfix/relay_recipients
postmap /etc/postfix/relay_recipients
#
echo "Dumping relay_domains for mail2..."
$HNET_BIN/dump_mail2_domains >$HNET_LIB/relay_domains
#
# EOF
#
</pre>

== Conversie van data naar tekst bestanden==
Wat ooit gestart is al met de hand beheerde tekst bestanden, is vervangen door bestanden gemaakt uit de PFA database. Omdat alle updates m.b.v. PFA gemaakt worden, zijn die gegevens nieuwer. Door die eerst te dumpen en daarna weer te gebruiken als bron bestand blijven wijzigingen bewaard.
===dump_all_domains===
Maakt een tekst bestand in '''all_domains.txt''' van de alle domeinen in de domain tabel.
===dump_extra_alias_domains===
Maakt een tekst bestand '''extra_alias_domains.txt''' uit de '''alias_domain''' tabel.
===dump_extra_aliases===
Maakt een tekst bestand '''extra_aliases.txt''' uit de '''alias''' tabel.
===dump_extra_mailboxes===
Maakt een tekst bestand '''extra_mailboxes.txt''' uit de '''mailbox''' tabel.
===dump_mail2_domains===
Maakt een tekst bestand '''relay_domains''' uit de '''domain''' tabel voor gebruik op '''mail2'''.
===dump_relay_recipients===
Maakt een tekst bestand '''relay_recipients''' aan voor Postfix. Dit bestand moet naar /etc/postfix op mail-dev gekopieerd worden en er moet een postmap op uitgevoerd worden.
===dump_scouthout_aliases===
Maakt een tekst bestand '''scouthout_aliases.txt''' uit de '''alias''' tabel.
===dump_transport===
Maakt een tekst bestand '''transport''' aan voor Postfix. Dit bestand moet naar /etc/postfix gekopieerd worden en er moet een postmap op uitgevoerd worden.

==Genereren van de mailboxen==
Alle (ook virtuele) gebruikers waarvoor mail-dev eindstation is voor email, hebben een home directory en een mailbox in een mail directory op dit systeem. Zowel HCC!Hobbynet als de HCC!Kadernet leden hebben allemaal een mailbox met Maildir structuur in /disk/mail/vmail/<domain>/<user>/Maildir/.

===gen_mailbox===
Dit script maakt de '''hobbynet''' mailbox informatie aan. De passwords zijn afkomstig uit ldap op hcc-ldap-lb1. De mailbox naam was '''altijd''' <contact>@<systeem>.hobby.nl voor hobbynetleden. Het domein is altijd '''<systeem>.hobby.nl'''. Het '''type''' attribute in ldap wordt ook bewaard in de mailbox db tabel.

===gen_mailbox2===
Dit script maakt de '''kadernet''' mailbox informatie aan. De mailbox naam is '''altijd''' <lidnummer>@kader.hcc.nl voor kaderleden. Het domein voor kaderleden is dus altijd '''kader.hcc.nl'''.

===gen_extra_mailbox===
Dit script maakt mailboxen aan die niet uit de andere bronnen te herleiden zijn. De mailboxen krijgen type 9.

==Genereren van de aliases==
Email die op een domein op mail-dev wordt afgeleverd om direct weer verder gestuurd te worden heeft geen mailbox nodig. Voorbeeld hiervan is scouthout.nl. Alle email adressen expanderen via '''aliases''' naar een of meer externe adressen. Mail-dev fungeert hiervoor dus als mailrelay. Aliases zijn ook nodig voor functionele email adressen van kadernet functies zoals voorzitter, secretaris, enz. Ook zijn er adressen nodig voor grotere groepen ten bate van het kantoor zodat ze alle penningmeesters tegelijk kunnen mailen. De alias tabel wordt dus vrij groot. Er zijn weer meerdere kleine scripts die de tabellen vullen.

===gen_alias===
Dit script genereert alle '''hobbynet''' aliases die uit hobbyabon.txt gemaakt kunnen worden. Voor de hobbynetleden wordt een alias gemaakt met de naam van de gebruiker in de '''alias''' tabel. Er komt dus een '''<contact>@<systeem>.hobby.nl''' die naar de mailbox '''<contact>@<systeem>.hobby.nl''' wijst. De '''alias''' tabel is zichtbaar in PostfixAdmin. De alias tabel kan beheerd worden met PostfixAdmin. Via phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk alle tabellen in de database postfixadmin benaderd worden, mocht dit nodig zijn.

Om het mogelijk te maken voor een hobbynet lid de Hobbynet mail ergens anders af te leveren, is de scripting aangepast (vbs20200416). Het mail veld in ou=users bepaald of er een mailbox wordt gemaakt os dat er forwarding wordt gedaan. Zie [[Hobbynet mail forwarding]] voor meer uitleg.

===gen_fff_hobbynet_alias===
Dit script genereert de '''fff_hnet@hobby.nl''' alias door uit hobbyabon.txt het emailadres van leden met code 0,1,2,3 te halen.

===gen_fff_www_alias===
Dit script genereert de '''fff_www@hobby.nl''' alias door uit hobbyabon.txt het emailadres te halen van dié leden die een website op een van de Hobbynet webservers hebben. Het is dus een subset van '''fff_hnet'''.

===gen_extra_alias===
Dit script leest '''extra_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die niet eenvoudig af te leiden zijn uit hobbyabon.txt en kaderfunc.txt.

===gen_scouthout_alias===
Dit script leest '''scouthout_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die te maken hebben met scouthout.nl. Er is tevens een scriptje '''dump_scouthout_aliases''' dat scouthout_aliases.txt kan genereren uit de alias tabel. Dit kan nuttig zijn als er updates via PostfixAdmin zijn gedaan door de scouthout admin.

===gen_alias2===
Dit script genereert alle '''kadernet''' aliases die uit kaderfunc.txt gemaakt kunnen worden. Voor de kaderleden waar het domain nog '''kader.hobby.nl''' is, wordt dat vervangen door '''kader.hcc.nl'''. Er wordt een alias gemaakt die naar de mailbox wijst (met het lidnummer uit kaderfunc.txt) en één met de HCC naam uit het in kaderfunc.txt opgenomen email adres. Er komt dus een '''1234567@kader.hcc.nl''' en een '''a.b.c.janssen@kader.hcc.nl''' die weer beide naar de mailbox '''1234567@kader.hcc.nl''' verwijzen. De alias tabel kan beheerd worden met PostfixAdmin. Via Phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk ook alle tabellen in de database postfixadmin benaderd worden.

===gen_func_alias===
Dit script genereert alle functionele aliases voor elke groepering. Het maakt aliases aan voor '''voorzitter@<groepering>.hcc.nl''', '''secretaris@<groepering>.hcc.nl''' en '''penningmeester@<groepering>.hcc.nl'''. Tevens wordt '''info@<groepering>.hcc.nl''' gemaakt die ook naar secretaris@<groepering>.hcc.nl verwijst. De informatie wordt gehaald uit de kaderfunc.txt file.

Om backwards compatible te zijn is ook voorzien in aliases voor 'voorz', 'secr' en 'penm' die verwijzen naar de lange naam. Uit praktische overweging worden hier ook de rfc mailboxen gemaakt. abuse@.. verwijst naar abuse@hobby.nl.

===gen_best_alias===
Dit script genereert de '''bestuur''' alias voor elke groepering. Dus per groepering de voorzitter, secretaris, penningmeester en bestuursleden met als alias '''bestuur@<groepering>.hcc.nl'''. De informatie wordt weer gehaald uit de '''kaderfunc.txt''' file. Sommige groeperingen zoals '''hobby-computer-club''' wordt overgeslagen. Er is geen '''bestuur@hobby-computer-club.hcc.nl'''...

===gen_webm_alias===
Voor de webmasters is een apart script gemaakt omdat er een variabel aantal webmasters per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''webmaster@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent. Ook wordt altijd de secretaris toegevoegd. In het geval dat er helemaal géén webmaster is aangemeld komt de mail dus tenminste in de mailbox van de secretaris ''(is dit nog zo?)''. Bron bestand is natuurlijk weer kaderfunc.txt.

===gen_kernl_alias===
Voor de kernleden is een apart script gemaakt omdat er een variabel aantal kernleden per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''kernleden@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent.

===gen_kadernet_alias===
Dit script leest kadernet_aliases.txt en genereert de SQL regels voor speciale kadernet aliases die niet uit kaderfunc.txt gemaakt kunnen worden.

===gen_ig_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van interessegroepen (vroeger gebruikersgroep) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''ig_''' alias te komen.

===gen_regio_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van regio's (vroeger afdeling) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''regio_''' alias te komen. Deze aliases zijn weer gecombineerd tot grotere groepen.
<pre>
Alle voorz, secr, penm, enz van ig's:
ig_voorz@kader.hcc.nl
ig_secr@kader.hcc.nl
ig_penm@kader.hcc.nl
ig_bestl@kader.hcc.nl
ig_kernl@kader.hcc.nl
ig_webm@kader.hcc.nl

Alle voorz, secr, penm, enz van regio's
regio_voorz@kader.hcc.nl
regio_secr@kader.hcc.nl
regio_penm@kader.hcc.nl
regio_bestl@kader.hcc.nl
regio_kernl@kader.hcc.nl
regio_webm@kader.hcc.nl

Alle voorzitters, secr, enz:
fff_voorz@kader.hcc.nl (ig_voorz@kader.hcc.nl en regio_voorz@kader.hcc.nl samen)
fff_secr@kader.hcc.nl (alle secretarissen)
fff_penm@kader.hcc.nl
fff_bestl@kader.hcc.nl
fff_kernl@kader.hcc.nl
fff_webm@kader.hcc.nl

Alle bestuursleden van resp. ig's en regio's:
fff_ig_bestuur@kader.hcc.nl (ig_voorz, ig_secr, ig_penm en ig_bestl@kader.hcc.nl samen)
fff_regio_bestuur@kader.hcc.nl (regio_voorz, regio_secr, regio_penm en regio_bestl@kader.hcc.nl samen)

Alle bestuursleden:
fff_bestuur@kader.hcc.nl (de 4 ig_<func> en de 4 regio_<func> samen)

Alle kaderleden:
fff_kader@kader.hcc.nl (ALLE kaderleden samen, dus besturen maar nu ook met de kernleden en webmasters)
</pre>

===gen_sr_presentatoren en gen_sr_regio_coordinatoren_alias===
Deze twee scripts genereren de aliases voor de regio_coordinatoren en presentatoren van de SeniorenAcademie (SR). Voor deze functionarissen is een virtuele IG gemaakt (SR-Ambassadeurs) omdat niet alle functionarissen lid zijn van SR. Indelen bij de regio was een optie maar dan liggen er problemen op de loer met verhuizingen. 
'''PAS OP''': deze scripts bevatten hard gecodeerde waarden!

===gen_fff_kadernet_alias===
Dit script genereert de '''fff_kader@kader.hcc.nl'''. Hiervoor wordt kaderfunc.txt gebruikt (code 5). 
Op verzoek van het Kantoor worden enkele kantoor functies in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''fff_''' aliases te komen.

==Genereren van de domains==
Postfix kan de email voor vele domeinen afhandelen. Om ongewenst relayeren (spam!) te voorkomen moeten de domeinen van de geadresseerden gecheckt kunnen worden.

===gen_domain===
Dit script genereert de hobbynet domeinen voor de domeinen in hobbyabon.txt voor de tabel '''domain'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin.

===gen_all_domain===
Het bronbestand voor gen_all_domain is '''all_domains.txt'''. Het script '''gen_all_domain''' voegt records toe aan de domain tabel die betrekking hebben op alle beheerde domeinen. Dit zijn b.v. hccm.nl en hcc-watersport.nl maar weer NIET modelbaan-gg.hcc.nl. Die laatste wordt door gen_domain2 aangemaakt.

===gen_domain2===
Dit script genereert de kadernet domeinen. Voor kadernet wordt '''kader.hobby.nl''' vervangen door '''kader.hcc.nl'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin. Er worden domeinen gemaakt zonder de '''afd-''' of '''-gg''' en met '''regio-''' i.p.v. '''afd-''' en '''-ig''' i.p.v. '''-gg'''.

==Genereren van de alias-domains==
Postfix kent een z.g. alias_domain. Dit is een domeinnaam die een alias is voor een andere domeinnaam. Alle email adressen in het originele domein komen 1 op 1 voor in het alias domein.

===gen_extra_alias_domain===
Dit script leest '''extra_alias_domains.txt''' en genereert SQL regels voor de tabel alias_domain

De layout van de tekst file is simpel: alias_domain, target_domain. Voorbeeld:
# list of alias_domains
# mirror.tld,target.tld
#
hccm.nl:modelbaan-gg.hcc.nl
hcc-modelbaan.nl:modelbaan-gg.hcc.nl
hcc-games.nl:games-gg.hcc.nl
hcc-clan.nl:games-gg.hcc.nl

'''Opm''': De automatisch gegenereerde HCC domeinnamen (ontstaan door -gg/afd-/cg- weg te laten) mogen dus NIET in de platte tekst file staan.

===gen_alias_domain2===
Dit script genereert alle HCC afdeling en ig domeinen maar dan zonder de '''afd-''' prefix en '''-gg''' suffix. Input is kaderfunc.txt.

==Systemusers==
Het upd_smail script genereert tevens een soor virtualusers bestand voor Roundcube. Om de kaderleden in staat te stellen met slechts hun lidnummer in te loggen op webmail is er een default domein '''kader.hcc.nl''' gedefinieerd. Als iemand zonder domein inlogt, wordt '''@kader.hcc.nl''' toegevoegd. Door fake entries op te nemen met <systeemuser>@kader.hcc.nl en een alias '''zonder ''' domein kunnen die toch inloggen op het webinterface. De laatste groep zijn de hobbynet users die vanouds met S<systeem> konden inloggen. Voor hen wordt ook een fake entry gemaakt met S<systeem>@kader.hcc.nl met als alias het opgegeven email adres. Voor dit email adres is eerder een mailbox aangemaakt.
 
De beschreven faciliteit bestaat alleen voor het Roundcube web email interface. Pop3 en imap clients moeten, behalve voor systeemusers, altijd een domein meegeven!

==Extra scripts==
L8er...

Terug naar [[EMAIL]]

Uitleg scripts

2020-04-18T09:48:31Z

Egbert: /* gen_alias */

==Introductie==
De scripting is er op gericht een aantal tabellen te vullen in de postfixadmin database. De tabellen zijn in eerste instantie helemaal standaard gehouden zoals postfixadmin ze aanmaakt bij de installatie. Postfixadmin kan worden gebruikt om veranderingen in de data aan te brengen. Later zijn enkele velden toegevoegd voor het specifieke gebruik binnen Hobbynet. Voornamelijk om het creëren van tekst bestanden als bron bestanden aan te maken.

===Proces===
Het hele proces is gericht op het behoud van (mogelijk gewijzigde) data. In de aanloop fase werden de platte tekst bestanden met de hand bijgehouden waarna de database tabellen gegenereerd werden. In de test fase werden de uit de database gemaakte tekst bestanden vergeleken met de originele bestanden. In de productie fase zijn er geen originele tekst bestanden meer; de vorige versie wordt veilig gesteld en daarna vervangen door de verse dump uit de database. Op die wijze worden nieuwe records meegenomen die met PostfixAdmin in de database zijn gemaakt. De laatst bekende data in de database wordt namelijk eerst gedumpt naar tekst bestanden, die vervolgens weer worden gebruikt om de database te laden. De externe bestanden hobbyabon.txt (was husers) en kaderfunc.txt (was b3a.txt) zijn hier een uitzondering op; die worden nooit overschreven maar door het script '''upd_mailserver''' op de LDAP server geplaatst. '''upd_smail''' op de mailserver doet de rest. 
Zie ook de pagina [[bronbestanden]].

===Locatie van de bestanden===
De bron bestanden: '''kaderfunc.txt''', '''hobbyabon.txt''' staan in de data directory (via scp van hcc-ldap-lb1 afkomstig), '''extra_alias_domains.txt''', '''extra_aliases.txt''', '''scouthout_aliases.txt''' en de '''_header/_footer''' bestanden (.tmpl) staan ook in '''/usr/local/hobbynet/data''' directory.

De scripts staan in '''/usr/local/hobbynet/local'''. De backups van de database en tekst bestanden komen in '''/usr/local/hobbynet/data/backup''' terecht. De door de scripts gegenereerde MySQL bestanden komen in '''/usr/local/hobbynet/data/loader'''.

De bestanden in de backup directory moeten geregeld opgeruimd worden; er zit geen limiet op het aantal versies. In de backup directory staat ook een script om een versie van een bepaalde datum/tijd snel terug te zetten waarna '''upd_smail''' de database herlaadt.

===Scripts===
De (perl) scripts zijn bewust kort en simpel gehouden om ze zo modulair mogelijk te maken. De tactiek is telkens hetzelfde: bij elk te maken SQL loader bestand is er een header, tussenliggende gelijksoortige data regels en een footer te onderscheiden.
* De header is alle tekst die door een MySQL dump gemaakt wordt (met een delete-if-exists erin), tot en met de eerste SQL regel: INSERT INTO...VALUES.
* De diverse scripts voegen de tussenliggende data regels toe.
* De footer is gewoonlijk een laatste data regel maar dan eindigend op ''';''' in plaats van ''',''' en de afsluitende regels van de dump.
Een dergelijk SQL loader bestand is zonder meer terug te laden in MySQL. De tabel wordt eerst weggegooid en wordt daarna opnieuw aangemaakt.

==upd_smail==
Dit script is het overkoepelende script dat alle '''dump_*''' en '''gen_*''' scripts uitvoert en mysql aanroept om de database te laden. '''upd_smail''' op zijn beurt wordt weer door '''upd_all''' aangeroepen. In dit '''upd_smail''' script worden vóórdat de tabellen vanaf scratch worden opgebouwd, de 4 tabellen veilig gesteld in een backup directory. Tevens worden tekst bestanden aangemaakt van die delen van de database die met de hand veranderd kunnen zijn. Het uitgangspunt is hier dat de database de echte waarheid is en de bronbestanden achter kunnen lopen.

Het '''all_domains.txt''' bestand bevat de domeinen waar HCC voor betaalt aan SIDN. Ook de benodigde speciale subdomeinen staan in het all_domains.txt bestand.

Per tabel worden de SQL header files samengevoegd met de output van de verschillende gen_* scripts. Tenslotte wordt een SQL footer toegevoegd, vaak alleen om de SQL te beëindigen met een ''';'''. Daarna wordt de tabel in MySQL aangemaakt en de data geladen. De
tabellen worden dus in z'n geheel vervangen. Als laatste wordt een soort van '''virtalias''' bestand voor Roundcube gemaakt. Hieronder de complete '''upd_smail''' (slechts als referentie, kijk altijd naar het script op de server zelf):
<pre>
#!/bin/sh
#
# $Id: /usr/local/hobbynet/bin/upd_smail $
#
# Driver voor alle subtaken dump... en gen....
#
# usage: ./upd_smail
#

CHOWN=/bin/chown
CHMOD=/bin/chmod

HNET=/usr/local/hobbynet
HNET_BIN=$HNET/bin
HNET_LIB=$HNET/lib
HNET_BCK=$HNET/lib/backup
HNET_LDR=$HNET/lib/loader

ID=$(date +"%Y%m%d-%H%M%S")

cd $HNET_LIB

#
# save all 4 tables with unique name
#
mysqldump -u postfixadmin -ppassword -c postfixadmin mailbox >$HNET_BCK/mailbox_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias >$HNET_BCK/alias_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin domain >$HNET_BCK/domain_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias_domain >$HNET_BCK/alias_domain_$ID.sql
#
# save extra mailboxes
#
echo "Saving extra mailboxess..."
cp $HNET_LIB/extra_mailboxes.txt $HNET_BCK/extra_mailboxes_$ID.txt
$HNET_BIN/dump_extra_mailboxes | sort >$HNET_LIB/extra_mailboxes.txt
#
# save scouthout aliases
#
echo "Saving scouthout aliases..."
cp $HNET_LIB/scouthout_aliases.txt $HNET_BCK/scouthout_aliases_$ID.txt
$HNET_BIN/dump_scouthout_aliases | sort >$HNET_LIB/scouthout_aliases.txt
#
# save new and extra aliases
#
echo "Saving new and extra aliases..."
cp $HNET_LIB/extra_aliases.txt $HNET_BCK/extra_aliases_$ID.txt
$HNET_BIN/dump_extra_aliases | sort >$HNET_LIB/extra_aliases.txt
#
# save hcc and other domains
#
echo "Saving hcc and other domains..."
cp $HNET_LIB/all_domains.txt $HNET_BCK/all_domains_$ID.txt
$HNET_BIN/dump_all_domains | sort >$HNET_LIB/all_domains.txt
#
# save new and extra domain_aliases
#
echo "Saving new and extra domain_aliases..."
cp $HNET_LIB/extra_alias_domains.txt $HNET_BCK/extra_alias_domains_$ID.txt
$HNET_BIN/dump_extra_alias_domains | sort >$HNET_LIB/extra_alias_domains.txt
#
# prepare emergency backup procedure (here-doecument)
#
cat > $HNET_BCK/restore_$ID <<END
#!/bin/bash
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/mailbox_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/domain_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_domain_$ID.sql
cp $HNET_BCK/extra_mailboxes_$ID.txt $HNET_LIB/extra_mailboxes.txt
cp $HNET_BCK/scouthout_aliases_$ID.txt $HNET_LIB/scouthout_aliases.txt
cp $HNET_BCK/extra_aliases_$ID.txt $HNET_LIB/extra_aliases.txt
cp $HNET_BCK/all_domains_$ID.txt $HNET_LIB/all_domains.txt
cp $HNET_BCK/extra_alias_domains_$ID.txt $HNET_LIB/extra_alias_domains.txt
END
chmod 755 $HNET_BCK/restore_$ID
#
# build all 4 tables from input files
#
echo "Building mailbox table for Hobbynet/Kadernet..."
cp $HNET_LIB/mailbox_header.tmpl $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox2 | sort | uniq >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_extra_mailbox >> $HNET_LDR/mailbox.sql
cat $HNET_LIB/mailbox_footer.tmpl >> $HNET_LDR/mailbox.sql
$CHMOD 644 $HNET_LDR/mailbox.sql
$CHOWN root:root $HNET_LDR/mailbox.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/mailbox.sql
#
echo "Building alias table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_header.tmpl $HNET_LDR/alias.sql
$HNET_BIN/gen_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_hobbynet_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_www_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_extra_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_scouthout_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_alias2 | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_func_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_best_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_group_alias | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ledenraad_alias >> $HNET_LDR/alias.sql
# use temporary file with unique mail addresses
cut --delimiter="," --field=4 $HNET_LIB/kaderfunc.txt | sort | uniq > $HNET_LIB/kaderfunc-sorted.txt
$HNET_BIN/gen_fff_kadernet_alias >> $HNET_LDR/alias.sql
rm $HNET_LIB/kaderfunc-sorted.txt
#
cat $HNET_LIB/alias_footer.tmpl >> $HNET_LDR/alias.sql
$CHMOD 644 $HNET_LDR/alias.sql
$CHOWN root:root $HNET_LDR/alias.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_LDR/alias.sql
#
echo "Building domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/domain_header.tmpl $HNET_LDR/domain.sql
$HNET_BIN/gen_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_all_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_domain2 >> $HNET_LDR/domain.sql
cat $HNET_LIB/domain_footer.tmpl >> $HNET_LDR/domain.sql
$CHMOD 644 $HNET_LDR/domain.sql
$CHOWN root:root $HNET_LDR/domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/domain.sql
#
echo "Building alias_domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_domain_header.tmpl $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_extra_alias_domain >> $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_alias_domain2 >> $HNET_LDR/alias_domain.sql
cat $HNET_LIB/alias_domain_footer.tmpl >> $HNET_LDR/alias_domain.sql
$CHMOD 644 $HNET_LDR/alias_domain.sql
$CHOWN root:root $HNET_LDR/alias_domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/alias_domain.sql
#
echo ""
echo "Building systemusers for Roundcube..."
cp $HNET_LIB/systemusers.tmpl $HNET_LIB/systemusers
$HNET_BIN/gen_systemusers >> $HNET_LIB/systemusers
$CHMOD 644 $HNET_LIB/systemusers
$CHOWN root:root $HNET_LIB/systemusers
#
echo ""
echo "Dumping transport for mail-dev..."
$HNET_BIN/dump_transport >$HNET_LIB/transport
cp /etc/postfix/transport /etc/postfix/transport.old
cp $HNET_LIB/transport /etc/postfix/transport
postmap /etc/postfix/transport
#
echo "Dumping relay_recipients for mail-dev..."
$HNET_BIN/dump_relay_recipients >$HNET_LIB/relay_recipients
cp /etc/postfix/relay_recipients /etc/postfix/relay_recipients.old
cp $HNET_LIB/relay_recipients /etc/postfix/relay_recipients
postmap /etc/postfix/relay_recipients
#
echo "Dumping relay_domains for mail2..."
$HNET_BIN/dump_mail2_domains >$HNET_LIB/relay_domains
#
# EOF
#
</pre>

== Conversie van data naar tekst bestanden==
Wat ooit gestart is al met de hand beheerde tekst bestanden, is vervangen door bestanden gemaakt uit de PFA database. Omdat alle updates m.b.v. PFA gemaakt worden, zijn die gegevens nieuwer. Door die eerst te dumpen en daarna weer te gebruiken als bron bestand blijven wijzigingen bewaard.
===dump_all_domains===
Maakt een tekst bestand in '''all_domains.txt''' van de alle domeinen in de domain tabel.
===dump_extra_alias_domains===
Maakt een tekst bestand '''extra_alias_domains.txt''' uit de '''alias_domain''' tabel.
===dump_extra_aliases===
Maakt een tekst bestand '''extra_aliases.txt''' uit de '''alias''' tabel.
===dump_extra_mailboxes===
Maakt een tekst bestand '''extra_mailboxes.txt''' uit de '''mailbox''' tabel.
===dump_mail2_domains===
Maakt een tekst bestand '''relay_domains''' uit de '''domain''' tabel voor gebruik op '''mail2'''.
===dump_relay_recipients===
Maakt een tekst bestand '''relay_recipients''' aan voor Postfix. Dit bestand moet naar /etc/postfix op mail-dev gekopieerd worden en er moet een postmap op uitgevoerd worden.
===dump_scouthout_aliases===
Maakt een tekst bestand '''scouthout_aliases.txt''' uit de '''alias''' tabel.
===dump_transport===
Maakt een tekst bestand '''transport''' aan voor Postfix. Dit bestand moet naar /etc/postfix gekopieerd worden en er moet een postmap op uitgevoerd worden.

==Genereren van de mailboxen==
Alle (ook virtuele) gebruikers waarvoor mail-dev eindstation is voor email, hebben een home directory en een mailbox in een mail directory op dit systeem. Zowel HCC!Hobbynet als de HCC!Kadernet leden hebben allemaal een mailbox met Maildir structuur in /disk/mail/vmail/<domain>/<user>/Maildir/.

===gen_mailbox===
Dit script maakt de '''hobbynet''' mailbox informatie aan. De passwords zijn afkomstig uit ldap op hcc-ldap-lb1. De mailbox naam was '''altijd''' <contact>@<systeem>.hobby.nl voor hobbynetleden. Het domein is altijd '''<systeem>.hobby.nl'''. Het '''type''' attribute in ldap wordt ook bewaard in de mailbox db tabel.

===gen_mailbox2===
Dit script maakt de '''kadernet''' mailbox informatie aan. De mailbox naam is '''altijd''' <lidnummer>@kader.hcc.nl voor kaderleden. Het domein voor kaderleden is dus altijd '''kader.hcc.nl'''.

===gen_extra_mailbox===
Dit script maakt mailboxen aan die niet uit de andere bronnen te herleiden zijn. De mailboxen krijgen type 9.

==Genereren van de aliases==
Email die op een domein op mail-dev wordt afgeleverd om direct weer verder gestuurd te worden heeft geen mailbox nodig. Voorbeeld hiervan is scouthout.nl. Alle email adressen expanderen via '''aliases''' naar een of meer externe adressen. Mail-dev fungeert hiervoor dus als mailrelay. Aliases zijn ook nodig voor functionele email adressen van kadernet functies zoals voorzitter, secretaris, enz. Ook zijn er adressen nodig voor grotere groepen ten bate van het kantoor zodat ze alle penningmeesters tegelijk kunnen mailen. De alias tabel wordt dus vrij groot. Er zijn weer meerdere kleine scripts die de tabellen vullen.

===gen_alias===
Dit script genereert alle '''hobbynet''' aliases die uit hobbyabon.txt gemaakt kunnen worden. Voor de hobbynetleden wordt een alias gemaakt met de naam van de gebruiker in de '''alias''' tabel. Er komt dus een '''<contact>@<systeem>.hobby.nl''' die naar de mailbox '''<contact>@<systeem>.hobby.nl''' wijst. De '''alias''' tabel is zichtbaar in PostfixAdmin. De alias tabel kan beheerd worden met PostfixAdmin. Via phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk alle tabellen in de database postfixadmin benaderd worden, mocht dit nodig zijn.

Om het mogelijk te maken voor een hobbynet lid de Hobbynet mail ergens anders af te leveren, is de scripting aangepast (vbs20200416). Het mail veld in ou=users bepaald of er een mailbox wordt gemaakt os dat er forwarding wordt gedaan. Zie [Hobbynet mail forwarding] voor meer uitleg.

===gen_fff_hobbynet_alias===
Dit script genereert de '''fff_hnet@hobby.nl''' alias door uit hobbyabon.txt het emailadres van leden met code 0,1,2,3 te halen.

===gen_fff_www_alias===
Dit script genereert de '''fff_www@hobby.nl''' alias door uit hobbyabon.txt het emailadres te halen van dié leden die een website op een van de Hobbynet webservers hebben. Het is dus een subset van '''fff_hnet'''.

===gen_extra_alias===
Dit script leest '''extra_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die niet eenvoudig af te leiden zijn uit hobbyabon.txt en kaderfunc.txt.

===gen_scouthout_alias===
Dit script leest '''scouthout_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die te maken hebben met scouthout.nl. Er is tevens een scriptje '''dump_scouthout_aliases''' dat scouthout_aliases.txt kan genereren uit de alias tabel. Dit kan nuttig zijn als er updates via PostfixAdmin zijn gedaan door de scouthout admin.

===gen_alias2===
Dit script genereert alle '''kadernet''' aliases die uit kaderfunc.txt gemaakt kunnen worden. Voor de kaderleden waar het domain nog '''kader.hobby.nl''' is, wordt dat vervangen door '''kader.hcc.nl'''. Er wordt een alias gemaakt die naar de mailbox wijst (met het lidnummer uit kaderfunc.txt) en één met de HCC naam uit het in kaderfunc.txt opgenomen email adres. Er komt dus een '''1234567@kader.hcc.nl''' en een '''a.b.c.janssen@kader.hcc.nl''' die weer beide naar de mailbox '''1234567@kader.hcc.nl''' verwijzen. De alias tabel kan beheerd worden met PostfixAdmin. Via Phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk ook alle tabellen in de database postfixadmin benaderd worden.

===gen_func_alias===
Dit script genereert alle functionele aliases voor elke groepering. Het maakt aliases aan voor '''voorzitter@<groepering>.hcc.nl''', '''secretaris@<groepering>.hcc.nl''' en '''penningmeester@<groepering>.hcc.nl'''. Tevens wordt '''info@<groepering>.hcc.nl''' gemaakt die ook naar secretaris@<groepering>.hcc.nl verwijst. De informatie wordt gehaald uit de kaderfunc.txt file.

Om backwards compatible te zijn is ook voorzien in aliases voor 'voorz', 'secr' en 'penm' die verwijzen naar de lange naam. Uit praktische overweging worden hier ook de rfc mailboxen gemaakt. abuse@.. verwijst naar abuse@hobby.nl.

===gen_best_alias===
Dit script genereert de '''bestuur''' alias voor elke groepering. Dus per groepering de voorzitter, secretaris, penningmeester en bestuursleden met als alias '''bestuur@<groepering>.hcc.nl'''. De informatie wordt weer gehaald uit de '''kaderfunc.txt''' file. Sommige groeperingen zoals '''hobby-computer-club''' wordt overgeslagen. Er is geen '''bestuur@hobby-computer-club.hcc.nl'''...

===gen_webm_alias===
Voor de webmasters is een apart script gemaakt omdat er een variabel aantal webmasters per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''webmaster@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent. Ook wordt altijd de secretaris toegevoegd. In het geval dat er helemaal géén webmaster is aangemeld komt de mail dus tenminste in de mailbox van de secretaris ''(is dit nog zo?)''. Bron bestand is natuurlijk weer kaderfunc.txt.

===gen_kernl_alias===
Voor de kernleden is een apart script gemaakt omdat er een variabel aantal kernleden per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''kernleden@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent.

===gen_kadernet_alias===
Dit script leest kadernet_aliases.txt en genereert de SQL regels voor speciale kadernet aliases die niet uit kaderfunc.txt gemaakt kunnen worden.

===gen_ig_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van interessegroepen (vroeger gebruikersgroep) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''ig_''' alias te komen.

===gen_regio_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van regio's (vroeger afdeling) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''regio_''' alias te komen. Deze aliases zijn weer gecombineerd tot grotere groepen.
<pre>
Alle voorz, secr, penm, enz van ig's:
ig_voorz@kader.hcc.nl
ig_secr@kader.hcc.nl
ig_penm@kader.hcc.nl
ig_bestl@kader.hcc.nl
ig_kernl@kader.hcc.nl
ig_webm@kader.hcc.nl

Alle voorz, secr, penm, enz van regio's
regio_voorz@kader.hcc.nl
regio_secr@kader.hcc.nl
regio_penm@kader.hcc.nl
regio_bestl@kader.hcc.nl
regio_kernl@kader.hcc.nl
regio_webm@kader.hcc.nl

Alle voorzitters, secr, enz:
fff_voorz@kader.hcc.nl (ig_voorz@kader.hcc.nl en regio_voorz@kader.hcc.nl samen)
fff_secr@kader.hcc.nl (alle secretarissen)
fff_penm@kader.hcc.nl
fff_bestl@kader.hcc.nl
fff_kernl@kader.hcc.nl
fff_webm@kader.hcc.nl

Alle bestuursleden van resp. ig's en regio's:
fff_ig_bestuur@kader.hcc.nl (ig_voorz, ig_secr, ig_penm en ig_bestl@kader.hcc.nl samen)
fff_regio_bestuur@kader.hcc.nl (regio_voorz, regio_secr, regio_penm en regio_bestl@kader.hcc.nl samen)

Alle bestuursleden:
fff_bestuur@kader.hcc.nl (de 4 ig_<func> en de 4 regio_<func> samen)

Alle kaderleden:
fff_kader@kader.hcc.nl (ALLE kaderleden samen, dus besturen maar nu ook met de kernleden en webmasters)
</pre>

===gen_sr_presentatoren en gen_sr_regio_coordinatoren_alias===
Deze twee scripts genereren de aliases voor de regio_coordinatoren en presentatoren van de SeniorenAcademie (SR). Voor deze functionarissen is een virtuele IG gemaakt (SR-Ambassadeurs) omdat niet alle functionarissen lid zijn van SR. Indelen bij de regio was een optie maar dan liggen er problemen op de loer met verhuizingen. 
'''PAS OP''': deze scripts bevatten hard gecodeerde waarden!

===gen_fff_kadernet_alias===
Dit script genereert de '''fff_kader@kader.hcc.nl'''. Hiervoor wordt kaderfunc.txt gebruikt (code 5). 
Op verzoek van het Kantoor worden enkele kantoor functies in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''fff_''' aliases te komen.

==Genereren van de domains==
Postfix kan de email voor vele domeinen afhandelen. Om ongewenst relayeren (spam!) te voorkomen moeten de domeinen van de geadresseerden gecheckt kunnen worden.

===gen_domain===
Dit script genereert de hobbynet domeinen voor de domeinen in hobbyabon.txt voor de tabel '''domain'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin.

===gen_all_domain===
Het bronbestand voor gen_all_domain is '''all_domains.txt'''. Het script '''gen_all_domain''' voegt records toe aan de domain tabel die betrekking hebben op alle beheerde domeinen. Dit zijn b.v. hccm.nl en hcc-watersport.nl maar weer NIET modelbaan-gg.hcc.nl. Die laatste wordt door gen_domain2 aangemaakt.

===gen_domain2===
Dit script genereert de kadernet domeinen. Voor kadernet wordt '''kader.hobby.nl''' vervangen door '''kader.hcc.nl'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin. Er worden domeinen gemaakt zonder de '''afd-''' of '''-gg''' en met '''regio-''' i.p.v. '''afd-''' en '''-ig''' i.p.v. '''-gg'''.

==Genereren van de alias-domains==
Postfix kent een z.g. alias_domain. Dit is een domeinnaam die een alias is voor een andere domeinnaam. Alle email adressen in het originele domein komen 1 op 1 voor in het alias domein.

===gen_extra_alias_domain===
Dit script leest '''extra_alias_domains.txt''' en genereert SQL regels voor de tabel alias_domain

De layout van de tekst file is simpel: alias_domain, target_domain. Voorbeeld:
# list of alias_domains
# mirror.tld,target.tld
#
hccm.nl:modelbaan-gg.hcc.nl
hcc-modelbaan.nl:modelbaan-gg.hcc.nl
hcc-games.nl:games-gg.hcc.nl
hcc-clan.nl:games-gg.hcc.nl

'''Opm''': De automatisch gegenereerde HCC domeinnamen (ontstaan door -gg/afd-/cg- weg te laten) mogen dus NIET in de platte tekst file staan.

===gen_alias_domain2===
Dit script genereert alle HCC afdeling en ig domeinen maar dan zonder de '''afd-''' prefix en '''-gg''' suffix. Input is kaderfunc.txt.

==Systemusers==
Het upd_smail script genereert tevens een soor virtualusers bestand voor Roundcube. Om de kaderleden in staat te stellen met slechts hun lidnummer in te loggen op webmail is er een default domein '''kader.hcc.nl''' gedefinieerd. Als iemand zonder domein inlogt, wordt '''@kader.hcc.nl''' toegevoegd. Door fake entries op te nemen met <systeemuser>@kader.hcc.nl en een alias '''zonder ''' domein kunnen die toch inloggen op het webinterface. De laatste groep zijn de hobbynet users die vanouds met S<systeem> konden inloggen. Voor hen wordt ook een fake entry gemaakt met S<systeem>@kader.hcc.nl met als alias het opgegeven email adres. Voor dit email adres is eerder een mailbox aangemaakt.
 
De beschreven faciliteit bestaat alleen voor het Roundcube web email interface. Pop3 en imap clients moeten, behalve voor systeemusers, altijd een domein meegeven!

==Extra scripts==
L8er...

Terug naar [[EMAIL]]

Uitleg scripts

2020-04-18T09:44:49Z

Egbert: /* gen_alias */

==Introductie==
De scripting is er op gericht een aantal tabellen te vullen in de postfixadmin database. De tabellen zijn in eerste instantie helemaal standaard gehouden zoals postfixadmin ze aanmaakt bij de installatie. Postfixadmin kan worden gebruikt om veranderingen in de data aan te brengen. Later zijn enkele velden toegevoegd voor het specifieke gebruik binnen Hobbynet. Voornamelijk om het creëren van tekst bestanden als bron bestanden aan te maken.

===Proces===
Het hele proces is gericht op het behoud van (mogelijk gewijzigde) data. In de aanloop fase werden de platte tekst bestanden met de hand bijgehouden waarna de database tabellen gegenereerd werden. In de test fase werden de uit de database gemaakte tekst bestanden vergeleken met de originele bestanden. In de productie fase zijn er geen originele tekst bestanden meer; de vorige versie wordt veilig gesteld en daarna vervangen door de verse dump uit de database. Op die wijze worden nieuwe records meegenomen die met PostfixAdmin in de database zijn gemaakt. De laatst bekende data in de database wordt namelijk eerst gedumpt naar tekst bestanden, die vervolgens weer worden gebruikt om de database te laden. De externe bestanden hobbyabon.txt (was husers) en kaderfunc.txt (was b3a.txt) zijn hier een uitzondering op; die worden nooit overschreven maar door het script '''upd_mailserver''' op de LDAP server geplaatst. '''upd_smail''' op de mailserver doet de rest. 
Zie ook de pagina [[bronbestanden]].

===Locatie van de bestanden===
De bron bestanden: '''kaderfunc.txt''', '''hobbyabon.txt''' staan in de data directory (via scp van hcc-ldap-lb1 afkomstig), '''extra_alias_domains.txt''', '''extra_aliases.txt''', '''scouthout_aliases.txt''' en de '''_header/_footer''' bestanden (.tmpl) staan ook in '''/usr/local/hobbynet/data''' directory.

De scripts staan in '''/usr/local/hobbynet/local'''. De backups van de database en tekst bestanden komen in '''/usr/local/hobbynet/data/backup''' terecht. De door de scripts gegenereerde MySQL bestanden komen in '''/usr/local/hobbynet/data/loader'''.

De bestanden in de backup directory moeten geregeld opgeruimd worden; er zit geen limiet op het aantal versies. In de backup directory staat ook een script om een versie van een bepaalde datum/tijd snel terug te zetten waarna '''upd_smail''' de database herlaadt.

===Scripts===
De (perl) scripts zijn bewust kort en simpel gehouden om ze zo modulair mogelijk te maken. De tactiek is telkens hetzelfde: bij elk te maken SQL loader bestand is er een header, tussenliggende gelijksoortige data regels en een footer te onderscheiden.
* De header is alle tekst die door een MySQL dump gemaakt wordt (met een delete-if-exists erin), tot en met de eerste SQL regel: INSERT INTO...VALUES.
* De diverse scripts voegen de tussenliggende data regels toe.
* De footer is gewoonlijk een laatste data regel maar dan eindigend op ''';''' in plaats van ''',''' en de afsluitende regels van de dump.
Een dergelijk SQL loader bestand is zonder meer terug te laden in MySQL. De tabel wordt eerst weggegooid en wordt daarna opnieuw aangemaakt.

==upd_smail==
Dit script is het overkoepelende script dat alle '''dump_*''' en '''gen_*''' scripts uitvoert en mysql aanroept om de database te laden. '''upd_smail''' op zijn beurt wordt weer door '''upd_all''' aangeroepen. In dit '''upd_smail''' script worden vóórdat de tabellen vanaf scratch worden opgebouwd, de 4 tabellen veilig gesteld in een backup directory. Tevens worden tekst bestanden aangemaakt van die delen van de database die met de hand veranderd kunnen zijn. Het uitgangspunt is hier dat de database de echte waarheid is en de bronbestanden achter kunnen lopen.

Het '''all_domains.txt''' bestand bevat de domeinen waar HCC voor betaalt aan SIDN. Ook de benodigde speciale subdomeinen staan in het all_domains.txt bestand.

Per tabel worden de SQL header files samengevoegd met de output van de verschillende gen_* scripts. Tenslotte wordt een SQL footer toegevoegd, vaak alleen om de SQL te beëindigen met een ''';'''. Daarna wordt de tabel in MySQL aangemaakt en de data geladen. De
tabellen worden dus in z'n geheel vervangen. Als laatste wordt een soort van '''virtalias''' bestand voor Roundcube gemaakt. Hieronder de complete '''upd_smail''' (slechts als referentie, kijk altijd naar het script op de server zelf):
<pre>
#!/bin/sh
#
# $Id: /usr/local/hobbynet/bin/upd_smail $
#
# Driver voor alle subtaken dump... en gen....
#
# usage: ./upd_smail
#

CHOWN=/bin/chown
CHMOD=/bin/chmod

HNET=/usr/local/hobbynet
HNET_BIN=$HNET/bin
HNET_LIB=$HNET/lib
HNET_BCK=$HNET/lib/backup
HNET_LDR=$HNET/lib/loader

ID=$(date +"%Y%m%d-%H%M%S")

cd $HNET_LIB

#
# save all 4 tables with unique name
#
mysqldump -u postfixadmin -ppassword -c postfixadmin mailbox >$HNET_BCK/mailbox_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias >$HNET_BCK/alias_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin domain >$HNET_BCK/domain_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias_domain >$HNET_BCK/alias_domain_$ID.sql
#
# save extra mailboxes
#
echo "Saving extra mailboxess..."
cp $HNET_LIB/extra_mailboxes.txt $HNET_BCK/extra_mailboxes_$ID.txt
$HNET_BIN/dump_extra_mailboxes | sort >$HNET_LIB/extra_mailboxes.txt
#
# save scouthout aliases
#
echo "Saving scouthout aliases..."
cp $HNET_LIB/scouthout_aliases.txt $HNET_BCK/scouthout_aliases_$ID.txt
$HNET_BIN/dump_scouthout_aliases | sort >$HNET_LIB/scouthout_aliases.txt
#
# save new and extra aliases
#
echo "Saving new and extra aliases..."
cp $HNET_LIB/extra_aliases.txt $HNET_BCK/extra_aliases_$ID.txt
$HNET_BIN/dump_extra_aliases | sort >$HNET_LIB/extra_aliases.txt
#
# save hcc and other domains
#
echo "Saving hcc and other domains..."
cp $HNET_LIB/all_domains.txt $HNET_BCK/all_domains_$ID.txt
$HNET_BIN/dump_all_domains | sort >$HNET_LIB/all_domains.txt
#
# save new and extra domain_aliases
#
echo "Saving new and extra domain_aliases..."
cp $HNET_LIB/extra_alias_domains.txt $HNET_BCK/extra_alias_domains_$ID.txt
$HNET_BIN/dump_extra_alias_domains | sort >$HNET_LIB/extra_alias_domains.txt
#
# prepare emergency backup procedure (here-doecument)
#
cat > $HNET_BCK/restore_$ID <<END
#!/bin/bash
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/mailbox_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/domain_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_domain_$ID.sql
cp $HNET_BCK/extra_mailboxes_$ID.txt $HNET_LIB/extra_mailboxes.txt
cp $HNET_BCK/scouthout_aliases_$ID.txt $HNET_LIB/scouthout_aliases.txt
cp $HNET_BCK/extra_aliases_$ID.txt $HNET_LIB/extra_aliases.txt
cp $HNET_BCK/all_domains_$ID.txt $HNET_LIB/all_domains.txt
cp $HNET_BCK/extra_alias_domains_$ID.txt $HNET_LIB/extra_alias_domains.txt
END
chmod 755 $HNET_BCK/restore_$ID
#
# build all 4 tables from input files
#
echo "Building mailbox table for Hobbynet/Kadernet..."
cp $HNET_LIB/mailbox_header.tmpl $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox2 | sort | uniq >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_extra_mailbox >> $HNET_LDR/mailbox.sql
cat $HNET_LIB/mailbox_footer.tmpl >> $HNET_LDR/mailbox.sql
$CHMOD 644 $HNET_LDR/mailbox.sql
$CHOWN root:root $HNET_LDR/mailbox.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/mailbox.sql
#
echo "Building alias table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_header.tmpl $HNET_LDR/alias.sql
$HNET_BIN/gen_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_hobbynet_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_www_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_extra_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_scouthout_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_alias2 | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_func_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_best_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_group_alias | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ledenraad_alias >> $HNET_LDR/alias.sql
# use temporary file with unique mail addresses
cut --delimiter="," --field=4 $HNET_LIB/kaderfunc.txt | sort | uniq > $HNET_LIB/kaderfunc-sorted.txt
$HNET_BIN/gen_fff_kadernet_alias >> $HNET_LDR/alias.sql
rm $HNET_LIB/kaderfunc-sorted.txt
#
cat $HNET_LIB/alias_footer.tmpl >> $HNET_LDR/alias.sql
$CHMOD 644 $HNET_LDR/alias.sql
$CHOWN root:root $HNET_LDR/alias.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_LDR/alias.sql
#
echo "Building domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/domain_header.tmpl $HNET_LDR/domain.sql
$HNET_BIN/gen_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_all_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_domain2 >> $HNET_LDR/domain.sql
cat $HNET_LIB/domain_footer.tmpl >> $HNET_LDR/domain.sql
$CHMOD 644 $HNET_LDR/domain.sql
$CHOWN root:root $HNET_LDR/domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/domain.sql
#
echo "Building alias_domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_domain_header.tmpl $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_extra_alias_domain >> $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_alias_domain2 >> $HNET_LDR/alias_domain.sql
cat $HNET_LIB/alias_domain_footer.tmpl >> $HNET_LDR/alias_domain.sql
$CHMOD 644 $HNET_LDR/alias_domain.sql
$CHOWN root:root $HNET_LDR/alias_domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/alias_domain.sql
#
echo ""
echo "Building systemusers for Roundcube..."
cp $HNET_LIB/systemusers.tmpl $HNET_LIB/systemusers
$HNET_BIN/gen_systemusers >> $HNET_LIB/systemusers
$CHMOD 644 $HNET_LIB/systemusers
$CHOWN root:root $HNET_LIB/systemusers
#
echo ""
echo "Dumping transport for mail-dev..."
$HNET_BIN/dump_transport >$HNET_LIB/transport
cp /etc/postfix/transport /etc/postfix/transport.old
cp $HNET_LIB/transport /etc/postfix/transport
postmap /etc/postfix/transport
#
echo "Dumping relay_recipients for mail-dev..."
$HNET_BIN/dump_relay_recipients >$HNET_LIB/relay_recipients
cp /etc/postfix/relay_recipients /etc/postfix/relay_recipients.old
cp $HNET_LIB/relay_recipients /etc/postfix/relay_recipients
postmap /etc/postfix/relay_recipients
#
echo "Dumping relay_domains for mail2..."
$HNET_BIN/dump_mail2_domains >$HNET_LIB/relay_domains
#
# EOF
#
</pre>

== Conversie van data naar tekst bestanden==
Wat ooit gestart is al met de hand beheerde tekst bestanden, is vervangen door bestanden gemaakt uit de PFA database. Omdat alle updates m.b.v. PFA gemaakt worden, zijn die gegevens nieuwer. Door die eerst te dumpen en daarna weer te gebruiken als bron bestand blijven wijzigingen bewaard.
===dump_all_domains===
Maakt een tekst bestand in '''all_domains.txt''' van de alle domeinen in de domain tabel.
===dump_extra_alias_domains===
Maakt een tekst bestand '''extra_alias_domains.txt''' uit de '''alias_domain''' tabel.
===dump_extra_aliases===
Maakt een tekst bestand '''extra_aliases.txt''' uit de '''alias''' tabel.
===dump_extra_mailboxes===
Maakt een tekst bestand '''extra_mailboxes.txt''' uit de '''mailbox''' tabel.
===dump_mail2_domains===
Maakt een tekst bestand '''relay_domains''' uit de '''domain''' tabel voor gebruik op '''mail2'''.
===dump_relay_recipients===
Maakt een tekst bestand '''relay_recipients''' aan voor Postfix. Dit bestand moet naar /etc/postfix op mail-dev gekopieerd worden en er moet een postmap op uitgevoerd worden.
===dump_scouthout_aliases===
Maakt een tekst bestand '''scouthout_aliases.txt''' uit de '''alias''' tabel.
===dump_transport===
Maakt een tekst bestand '''transport''' aan voor Postfix. Dit bestand moet naar /etc/postfix gekopieerd worden en er moet een postmap op uitgevoerd worden.

==Genereren van de mailboxen==
Alle (ook virtuele) gebruikers waarvoor mail-dev eindstation is voor email, hebben een home directory en een mailbox in een mail directory op dit systeem. Zowel HCC!Hobbynet als de HCC!Kadernet leden hebben allemaal een mailbox met Maildir structuur in /disk/mail/vmail/<domain>/<user>/Maildir/.

===gen_mailbox===
Dit script maakt de '''hobbynet''' mailbox informatie aan. De passwords zijn afkomstig uit ldap op hcc-ldap-lb1. De mailbox naam was '''altijd''' <contact>@<systeem>.hobby.nl voor hobbynetleden. Het domein is altijd '''<systeem>.hobby.nl'''. Het '''type''' attribute in ldap wordt ook bewaard in de mailbox db tabel.

===gen_mailbox2===
Dit script maakt de '''kadernet''' mailbox informatie aan. De mailbox naam is '''altijd''' <lidnummer>@kader.hcc.nl voor kaderleden. Het domein voor kaderleden is dus altijd '''kader.hcc.nl'''.

===gen_extra_mailbox===
Dit script maakt mailboxen aan die niet uit de andere bronnen te herleiden zijn. De mailboxen krijgen type 9.

==Genereren van de aliases==
Email die op een domein op mail-dev wordt afgeleverd om direct weer verder gestuurd te worden heeft geen mailbox nodig. Voorbeeld hiervan is scouthout.nl. Alle email adressen expanderen via '''aliases''' naar een of meer externe adressen. Mail-dev fungeert hiervoor dus als mailrelay. Aliases zijn ook nodig voor functionele email adressen van kadernet functies zoals voorzitter, secretaris, enz. Ook zijn er adressen nodig voor grotere groepen ten bate van het kantoor zodat ze alle penningmeesters tegelijk kunnen mailen. De alias tabel wordt dus vrij groot. Er zijn weer meerdere kleine scripts die de tabellen vullen.

===gen_alias===
Dit script genereert alle '''hobbynet''' aliases die uit hobbyabon.txt gemaakt kunnen worden. Voor de hobbynetleden wordt een alias gemaakt met de naam van de gebruiker in de '''alias''' tabel. Er komt dus een '''<contact>@<systeem>.hobby.nl''' die naar de mailbox '''<contact>@<systeem>.hobby.nl''' wijst. De '''alias''' tabel is zichtbaar in PostfixAdmin. De alias tabel kan beheerd worden met PostfixAdmin. Via phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk alle tabellen in de database postfixadmin benaderd worden, mocht dit nodig zijn.

Om het mogelijk te maken voor een hobbynet lid de Hobbynet mail ergens anders af te leveren, is de scripting aangepast (vbs20200416). Het mail veld in ou=users bepaald of er een mailbox wordt gemaakt os dat er forwarding wordt gedaan. Zie [] voor meer uitleg.

===gen_fff_hobbynet_alias===
Dit script genereert de '''fff_hnet@hobby.nl''' alias door uit hobbyabon.txt het emailadres van leden met code 0,1,2,3 te halen.

===gen_fff_www_alias===
Dit script genereert de '''fff_www@hobby.nl''' alias door uit hobbyabon.txt het emailadres te halen van dié leden die een website op een van de Hobbynet webservers hebben. Het is dus een subset van '''fff_hnet'''.

===gen_extra_alias===
Dit script leest '''extra_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die niet eenvoudig af te leiden zijn uit hobbyabon.txt en kaderfunc.txt.

===gen_scouthout_alias===
Dit script leest '''scouthout_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die te maken hebben met scouthout.nl. Er is tevens een scriptje '''dump_scouthout_aliases''' dat scouthout_aliases.txt kan genereren uit de alias tabel. Dit kan nuttig zijn als er updates via PostfixAdmin zijn gedaan door de scouthout admin.

===gen_alias2===
Dit script genereert alle '''kadernet''' aliases die uit kaderfunc.txt gemaakt kunnen worden. Voor de kaderleden waar het domain nog '''kader.hobby.nl''' is, wordt dat vervangen door '''kader.hcc.nl'''. Er wordt een alias gemaakt die naar de mailbox wijst (met het lidnummer uit kaderfunc.txt) en één met de HCC naam uit het in kaderfunc.txt opgenomen email adres. Er komt dus een '''1234567@kader.hcc.nl''' en een '''a.b.c.janssen@kader.hcc.nl''' die weer beide naar de mailbox '''1234567@kader.hcc.nl''' verwijzen. De alias tabel kan beheerd worden met PostfixAdmin. Via Phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk ook alle tabellen in de database postfixadmin benaderd worden.

===gen_func_alias===
Dit script genereert alle functionele aliases voor elke groepering. Het maakt aliases aan voor '''voorzitter@<groepering>.hcc.nl''', '''secretaris@<groepering>.hcc.nl''' en '''penningmeester@<groepering>.hcc.nl'''. Tevens wordt '''info@<groepering>.hcc.nl''' gemaakt die ook naar secretaris@<groepering>.hcc.nl verwijst. De informatie wordt gehaald uit de kaderfunc.txt file.

Om backwards compatible te zijn is ook voorzien in aliases voor 'voorz', 'secr' en 'penm' die verwijzen naar de lange naam. Uit praktische overweging worden hier ook de rfc mailboxen gemaakt. abuse@.. verwijst naar abuse@hobby.nl.

===gen_best_alias===
Dit script genereert de '''bestuur''' alias voor elke groepering. Dus per groepering de voorzitter, secretaris, penningmeester en bestuursleden met als alias '''bestuur@<groepering>.hcc.nl'''. De informatie wordt weer gehaald uit de '''kaderfunc.txt''' file. Sommige groeperingen zoals '''hobby-computer-club''' wordt overgeslagen. Er is geen '''bestuur@hobby-computer-club.hcc.nl'''...

===gen_webm_alias===
Voor de webmasters is een apart script gemaakt omdat er een variabel aantal webmasters per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''webmaster@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent. Ook wordt altijd de secretaris toegevoegd. In het geval dat er helemaal géén webmaster is aangemeld komt de mail dus tenminste in de mailbox van de secretaris ''(is dit nog zo?)''. Bron bestand is natuurlijk weer kaderfunc.txt.

===gen_kernl_alias===
Voor de kernleden is een apart script gemaakt omdat er een variabel aantal kernleden per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''kernleden@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent.

===gen_kadernet_alias===
Dit script leest kadernet_aliases.txt en genereert de SQL regels voor speciale kadernet aliases die niet uit kaderfunc.txt gemaakt kunnen worden.

===gen_ig_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van interessegroepen (vroeger gebruikersgroep) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''ig_''' alias te komen.

===gen_regio_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van regio's (vroeger afdeling) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''regio_''' alias te komen. Deze aliases zijn weer gecombineerd tot grotere groepen.
<pre>
Alle voorz, secr, penm, enz van ig's:
ig_voorz@kader.hcc.nl
ig_secr@kader.hcc.nl
ig_penm@kader.hcc.nl
ig_bestl@kader.hcc.nl
ig_kernl@kader.hcc.nl
ig_webm@kader.hcc.nl

Alle voorz, secr, penm, enz van regio's
regio_voorz@kader.hcc.nl
regio_secr@kader.hcc.nl
regio_penm@kader.hcc.nl
regio_bestl@kader.hcc.nl
regio_kernl@kader.hcc.nl
regio_webm@kader.hcc.nl

Alle voorzitters, secr, enz:
fff_voorz@kader.hcc.nl (ig_voorz@kader.hcc.nl en regio_voorz@kader.hcc.nl samen)
fff_secr@kader.hcc.nl (alle secretarissen)
fff_penm@kader.hcc.nl
fff_bestl@kader.hcc.nl
fff_kernl@kader.hcc.nl
fff_webm@kader.hcc.nl

Alle bestuursleden van resp. ig's en regio's:
fff_ig_bestuur@kader.hcc.nl (ig_voorz, ig_secr, ig_penm en ig_bestl@kader.hcc.nl samen)
fff_regio_bestuur@kader.hcc.nl (regio_voorz, regio_secr, regio_penm en regio_bestl@kader.hcc.nl samen)

Alle bestuursleden:
fff_bestuur@kader.hcc.nl (de 4 ig_<func> en de 4 regio_<func> samen)

Alle kaderleden:
fff_kader@kader.hcc.nl (ALLE kaderleden samen, dus besturen maar nu ook met de kernleden en webmasters)
</pre>

===gen_sr_presentatoren en gen_sr_regio_coordinatoren_alias===
Deze twee scripts genereren de aliases voor de regio_coordinatoren en presentatoren van de SeniorenAcademie (SR). Voor deze functionarissen is een virtuele IG gemaakt (SR-Ambassadeurs) omdat niet alle functionarissen lid zijn van SR. Indelen bij de regio was een optie maar dan liggen er problemen op de loer met verhuizingen. 
'''PAS OP''': deze scripts bevatten hard gecodeerde waarden!

===gen_fff_kadernet_alias===
Dit script genereert de '''fff_kader@kader.hcc.nl'''. Hiervoor wordt kaderfunc.txt gebruikt (code 5). 
Op verzoek van het Kantoor worden enkele kantoor functies in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''fff_''' aliases te komen.

==Genereren van de domains==
Postfix kan de email voor vele domeinen afhandelen. Om ongewenst relayeren (spam!) te voorkomen moeten de domeinen van de geadresseerden gecheckt kunnen worden.

===gen_domain===
Dit script genereert de hobbynet domeinen voor de domeinen in hobbyabon.txt voor de tabel '''domain'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin.

===gen_all_domain===
Het bronbestand voor gen_all_domain is '''all_domains.txt'''. Het script '''gen_all_domain''' voegt records toe aan de domain tabel die betrekking hebben op alle beheerde domeinen. Dit zijn b.v. hccm.nl en hcc-watersport.nl maar weer NIET modelbaan-gg.hcc.nl. Die laatste wordt door gen_domain2 aangemaakt.

===gen_domain2===
Dit script genereert de kadernet domeinen. Voor kadernet wordt '''kader.hobby.nl''' vervangen door '''kader.hcc.nl'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin. Er worden domeinen gemaakt zonder de '''afd-''' of '''-gg''' en met '''regio-''' i.p.v. '''afd-''' en '''-ig''' i.p.v. '''-gg'''.

==Genereren van de alias-domains==
Postfix kent een z.g. alias_domain. Dit is een domeinnaam die een alias is voor een andere domeinnaam. Alle email adressen in het originele domein komen 1 op 1 voor in het alias domein.

===gen_extra_alias_domain===
Dit script leest '''extra_alias_domains.txt''' en genereert SQL regels voor de tabel alias_domain

De layout van de tekst file is simpel: alias_domain, target_domain. Voorbeeld:
# list of alias_domains
# mirror.tld,target.tld
#
hccm.nl:modelbaan-gg.hcc.nl
hcc-modelbaan.nl:modelbaan-gg.hcc.nl
hcc-games.nl:games-gg.hcc.nl
hcc-clan.nl:games-gg.hcc.nl

'''Opm''': De automatisch gegenereerde HCC domeinnamen (ontstaan door -gg/afd-/cg- weg te laten) mogen dus NIET in de platte tekst file staan.

===gen_alias_domain2===
Dit script genereert alle HCC afdeling en ig domeinen maar dan zonder de '''afd-''' prefix en '''-gg''' suffix. Input is kaderfunc.txt.

==Systemusers==
Het upd_smail script genereert tevens een soor virtualusers bestand voor Roundcube. Om de kaderleden in staat te stellen met slechts hun lidnummer in te loggen op webmail is er een default domein '''kader.hcc.nl''' gedefinieerd. Als iemand zonder domein inlogt, wordt '''@kader.hcc.nl''' toegevoegd. Door fake entries op te nemen met <systeemuser>@kader.hcc.nl en een alias '''zonder ''' domein kunnen die toch inloggen op het webinterface. De laatste groep zijn de hobbynet users die vanouds met S<systeem> konden inloggen. Voor hen wordt ook een fake entry gemaakt met S<systeem>@kader.hcc.nl met als alias het opgegeven email adres. Voor dit email adres is eerder een mailbox aangemaakt.
 
De beschreven faciliteit bestaat alleen voor het Roundcube web email interface. Pop3 en imap clients moeten, behalve voor systeemusers, altijd een domein meegeven!

==Extra scripts==
L8er...

Terug naar [[EMAIL]]

Uitleg scripts

2020-04-18T09:41:57Z

Egbert: /* gen_mailbox */

==Introductie==
De scripting is er op gericht een aantal tabellen te vullen in de postfixadmin database. De tabellen zijn in eerste instantie helemaal standaard gehouden zoals postfixadmin ze aanmaakt bij de installatie. Postfixadmin kan worden gebruikt om veranderingen in de data aan te brengen. Later zijn enkele velden toegevoegd voor het specifieke gebruik binnen Hobbynet. Voornamelijk om het creëren van tekst bestanden als bron bestanden aan te maken.

===Proces===
Het hele proces is gericht op het behoud van (mogelijk gewijzigde) data. In de aanloop fase werden de platte tekst bestanden met de hand bijgehouden waarna de database tabellen gegenereerd werden. In de test fase werden de uit de database gemaakte tekst bestanden vergeleken met de originele bestanden. In de productie fase zijn er geen originele tekst bestanden meer; de vorige versie wordt veilig gesteld en daarna vervangen door de verse dump uit de database. Op die wijze worden nieuwe records meegenomen die met PostfixAdmin in de database zijn gemaakt. De laatst bekende data in de database wordt namelijk eerst gedumpt naar tekst bestanden, die vervolgens weer worden gebruikt om de database te laden. De externe bestanden hobbyabon.txt (was husers) en kaderfunc.txt (was b3a.txt) zijn hier een uitzondering op; die worden nooit overschreven maar door het script '''upd_mailserver''' op de LDAP server geplaatst. '''upd_smail''' op de mailserver doet de rest. 
Zie ook de pagina [[bronbestanden]].

===Locatie van de bestanden===
De bron bestanden: '''kaderfunc.txt''', '''hobbyabon.txt''' staan in de data directory (via scp van hcc-ldap-lb1 afkomstig), '''extra_alias_domains.txt''', '''extra_aliases.txt''', '''scouthout_aliases.txt''' en de '''_header/_footer''' bestanden (.tmpl) staan ook in '''/usr/local/hobbynet/data''' directory.

De scripts staan in '''/usr/local/hobbynet/local'''. De backups van de database en tekst bestanden komen in '''/usr/local/hobbynet/data/backup''' terecht. De door de scripts gegenereerde MySQL bestanden komen in '''/usr/local/hobbynet/data/loader'''.

De bestanden in de backup directory moeten geregeld opgeruimd worden; er zit geen limiet op het aantal versies. In de backup directory staat ook een script om een versie van een bepaalde datum/tijd snel terug te zetten waarna '''upd_smail''' de database herlaadt.

===Scripts===
De (perl) scripts zijn bewust kort en simpel gehouden om ze zo modulair mogelijk te maken. De tactiek is telkens hetzelfde: bij elk te maken SQL loader bestand is er een header, tussenliggende gelijksoortige data regels en een footer te onderscheiden.
* De header is alle tekst die door een MySQL dump gemaakt wordt (met een delete-if-exists erin), tot en met de eerste SQL regel: INSERT INTO...VALUES.
* De diverse scripts voegen de tussenliggende data regels toe.
* De footer is gewoonlijk een laatste data regel maar dan eindigend op ''';''' in plaats van ''',''' en de afsluitende regels van de dump.
Een dergelijk SQL loader bestand is zonder meer terug te laden in MySQL. De tabel wordt eerst weggegooid en wordt daarna opnieuw aangemaakt.

==upd_smail==
Dit script is het overkoepelende script dat alle '''dump_*''' en '''gen_*''' scripts uitvoert en mysql aanroept om de database te laden. '''upd_smail''' op zijn beurt wordt weer door '''upd_all''' aangeroepen. In dit '''upd_smail''' script worden vóórdat de tabellen vanaf scratch worden opgebouwd, de 4 tabellen veilig gesteld in een backup directory. Tevens worden tekst bestanden aangemaakt van die delen van de database die met de hand veranderd kunnen zijn. Het uitgangspunt is hier dat de database de echte waarheid is en de bronbestanden achter kunnen lopen.

Het '''all_domains.txt''' bestand bevat de domeinen waar HCC voor betaalt aan SIDN. Ook de benodigde speciale subdomeinen staan in het all_domains.txt bestand.

Per tabel worden de SQL header files samengevoegd met de output van de verschillende gen_* scripts. Tenslotte wordt een SQL footer toegevoegd, vaak alleen om de SQL te beëindigen met een ''';'''. Daarna wordt de tabel in MySQL aangemaakt en de data geladen. De
tabellen worden dus in z'n geheel vervangen. Als laatste wordt een soort van '''virtalias''' bestand voor Roundcube gemaakt. Hieronder de complete '''upd_smail''' (slechts als referentie, kijk altijd naar het script op de server zelf):
<pre>
#!/bin/sh
#
# $Id: /usr/local/hobbynet/bin/upd_smail $
#
# Driver voor alle subtaken dump... en gen....
#
# usage: ./upd_smail
#

CHOWN=/bin/chown
CHMOD=/bin/chmod

HNET=/usr/local/hobbynet
HNET_BIN=$HNET/bin
HNET_LIB=$HNET/lib
HNET_BCK=$HNET/lib/backup
HNET_LDR=$HNET/lib/loader

ID=$(date +"%Y%m%d-%H%M%S")

cd $HNET_LIB

#
# save all 4 tables with unique name
#
mysqldump -u postfixadmin -ppassword -c postfixadmin mailbox >$HNET_BCK/mailbox_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias >$HNET_BCK/alias_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin domain >$HNET_BCK/domain_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias_domain >$HNET_BCK/alias_domain_$ID.sql
#
# save extra mailboxes
#
echo "Saving extra mailboxess..."
cp $HNET_LIB/extra_mailboxes.txt $HNET_BCK/extra_mailboxes_$ID.txt
$HNET_BIN/dump_extra_mailboxes | sort >$HNET_LIB/extra_mailboxes.txt
#
# save scouthout aliases
#
echo "Saving scouthout aliases..."
cp $HNET_LIB/scouthout_aliases.txt $HNET_BCK/scouthout_aliases_$ID.txt
$HNET_BIN/dump_scouthout_aliases | sort >$HNET_LIB/scouthout_aliases.txt
#
# save new and extra aliases
#
echo "Saving new and extra aliases..."
cp $HNET_LIB/extra_aliases.txt $HNET_BCK/extra_aliases_$ID.txt
$HNET_BIN/dump_extra_aliases | sort >$HNET_LIB/extra_aliases.txt
#
# save hcc and other domains
#
echo "Saving hcc and other domains..."
cp $HNET_LIB/all_domains.txt $HNET_BCK/all_domains_$ID.txt
$HNET_BIN/dump_all_domains | sort >$HNET_LIB/all_domains.txt
#
# save new and extra domain_aliases
#
echo "Saving new and extra domain_aliases..."
cp $HNET_LIB/extra_alias_domains.txt $HNET_BCK/extra_alias_domains_$ID.txt
$HNET_BIN/dump_extra_alias_domains | sort >$HNET_LIB/extra_alias_domains.txt
#
# prepare emergency backup procedure (here-doecument)
#
cat > $HNET_BCK/restore_$ID <<END
#!/bin/bash
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/mailbox_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/domain_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_domain_$ID.sql
cp $HNET_BCK/extra_mailboxes_$ID.txt $HNET_LIB/extra_mailboxes.txt
cp $HNET_BCK/scouthout_aliases_$ID.txt $HNET_LIB/scouthout_aliases.txt
cp $HNET_BCK/extra_aliases_$ID.txt $HNET_LIB/extra_aliases.txt
cp $HNET_BCK/all_domains_$ID.txt $HNET_LIB/all_domains.txt
cp $HNET_BCK/extra_alias_domains_$ID.txt $HNET_LIB/extra_alias_domains.txt
END
chmod 755 $HNET_BCK/restore_$ID
#
# build all 4 tables from input files
#
echo "Building mailbox table for Hobbynet/Kadernet..."
cp $HNET_LIB/mailbox_header.tmpl $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox2 | sort | uniq >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_extra_mailbox >> $HNET_LDR/mailbox.sql
cat $HNET_LIB/mailbox_footer.tmpl >> $HNET_LDR/mailbox.sql
$CHMOD 644 $HNET_LDR/mailbox.sql
$CHOWN root:root $HNET_LDR/mailbox.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/mailbox.sql
#
echo "Building alias table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_header.tmpl $HNET_LDR/alias.sql
$HNET_BIN/gen_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_hobbynet_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_www_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_extra_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_scouthout_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_alias2 | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_func_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_best_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_group_alias | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ledenraad_alias >> $HNET_LDR/alias.sql
# use temporary file with unique mail addresses
cut --delimiter="," --field=4 $HNET_LIB/kaderfunc.txt | sort | uniq > $HNET_LIB/kaderfunc-sorted.txt
$HNET_BIN/gen_fff_kadernet_alias >> $HNET_LDR/alias.sql
rm $HNET_LIB/kaderfunc-sorted.txt
#
cat $HNET_LIB/alias_footer.tmpl >> $HNET_LDR/alias.sql
$CHMOD 644 $HNET_LDR/alias.sql
$CHOWN root:root $HNET_LDR/alias.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_LDR/alias.sql
#
echo "Building domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/domain_header.tmpl $HNET_LDR/domain.sql
$HNET_BIN/gen_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_all_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_domain2 >> $HNET_LDR/domain.sql
cat $HNET_LIB/domain_footer.tmpl >> $HNET_LDR/domain.sql
$CHMOD 644 $HNET_LDR/domain.sql
$CHOWN root:root $HNET_LDR/domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/domain.sql
#
echo "Building alias_domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_domain_header.tmpl $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_extra_alias_domain >> $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_alias_domain2 >> $HNET_LDR/alias_domain.sql
cat $HNET_LIB/alias_domain_footer.tmpl >> $HNET_LDR/alias_domain.sql
$CHMOD 644 $HNET_LDR/alias_domain.sql
$CHOWN root:root $HNET_LDR/alias_domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/alias_domain.sql
#
echo ""
echo "Building systemusers for Roundcube..."
cp $HNET_LIB/systemusers.tmpl $HNET_LIB/systemusers
$HNET_BIN/gen_systemusers >> $HNET_LIB/systemusers
$CHMOD 644 $HNET_LIB/systemusers
$CHOWN root:root $HNET_LIB/systemusers
#
echo ""
echo "Dumping transport for mail-dev..."
$HNET_BIN/dump_transport >$HNET_LIB/transport
cp /etc/postfix/transport /etc/postfix/transport.old
cp $HNET_LIB/transport /etc/postfix/transport
postmap /etc/postfix/transport
#
echo "Dumping relay_recipients for mail-dev..."
$HNET_BIN/dump_relay_recipients >$HNET_LIB/relay_recipients
cp /etc/postfix/relay_recipients /etc/postfix/relay_recipients.old
cp $HNET_LIB/relay_recipients /etc/postfix/relay_recipients
postmap /etc/postfix/relay_recipients
#
echo "Dumping relay_domains for mail2..."
$HNET_BIN/dump_mail2_domains >$HNET_LIB/relay_domains
#
# EOF
#
</pre>

== Conversie van data naar tekst bestanden==
Wat ooit gestart is al met de hand beheerde tekst bestanden, is vervangen door bestanden gemaakt uit de PFA database. Omdat alle updates m.b.v. PFA gemaakt worden, zijn die gegevens nieuwer. Door die eerst te dumpen en daarna weer te gebruiken als bron bestand blijven wijzigingen bewaard.
===dump_all_domains===
Maakt een tekst bestand in '''all_domains.txt''' van de alle domeinen in de domain tabel.
===dump_extra_alias_domains===
Maakt een tekst bestand '''extra_alias_domains.txt''' uit de '''alias_domain''' tabel.
===dump_extra_aliases===
Maakt een tekst bestand '''extra_aliases.txt''' uit de '''alias''' tabel.
===dump_extra_mailboxes===
Maakt een tekst bestand '''extra_mailboxes.txt''' uit de '''mailbox''' tabel.
===dump_mail2_domains===
Maakt een tekst bestand '''relay_domains''' uit de '''domain''' tabel voor gebruik op '''mail2'''.
===dump_relay_recipients===
Maakt een tekst bestand '''relay_recipients''' aan voor Postfix. Dit bestand moet naar /etc/postfix op mail-dev gekopieerd worden en er moet een postmap op uitgevoerd worden.
===dump_scouthout_aliases===
Maakt een tekst bestand '''scouthout_aliases.txt''' uit de '''alias''' tabel.
===dump_transport===
Maakt een tekst bestand '''transport''' aan voor Postfix. Dit bestand moet naar /etc/postfix gekopieerd worden en er moet een postmap op uitgevoerd worden.

==Genereren van de mailboxen==
Alle (ook virtuele) gebruikers waarvoor mail-dev eindstation is voor email, hebben een home directory en een mailbox in een mail directory op dit systeem. Zowel HCC!Hobbynet als de HCC!Kadernet leden hebben allemaal een mailbox met Maildir structuur in /disk/mail/vmail/<domain>/<user>/Maildir/.

===gen_mailbox===
Dit script maakt de '''hobbynet''' mailbox informatie aan. De passwords zijn afkomstig uit ldap op hcc-ldap-lb1. De mailbox naam was '''altijd''' <contact>@<systeem>.hobby.nl voor hobbynetleden. Het domein is altijd '''<systeem>.hobby.nl'''. Het '''type''' attribute in ldap wordt ook bewaard in de mailbox db tabel.

===gen_mailbox2===
Dit script maakt de '''kadernet''' mailbox informatie aan. De mailbox naam is '''altijd''' <lidnummer>@kader.hcc.nl voor kaderleden. Het domein voor kaderleden is dus altijd '''kader.hcc.nl'''.

===gen_extra_mailbox===
Dit script maakt mailboxen aan die niet uit de andere bronnen te herleiden zijn. De mailboxen krijgen type 9.

==Genereren van de aliases==
Email die op een domein op mail-dev wordt afgeleverd om direct weer verder gestuurd te worden heeft geen mailbox nodig. Voorbeeld hiervan is scouthout.nl. Alle email adressen expanderen via '''aliases''' naar een of meer externe adressen. Mail-dev fungeert hiervoor dus als mailrelay. Aliases zijn ook nodig voor functionele email adressen van kadernet functies zoals voorzitter, secretaris, enz. Ook zijn er adressen nodig voor grotere groepen ten bate van het kantoor zodat ze alle penningmeesters tegelijk kunnen mailen. De alias tabel wordt dus vrij groot. Er zijn weer meerdere kleine scripts die de tabellen vullen.

===gen_alias===
Dit script genereert alle '''hobbynet''' aliases die uit hobbyabon.txt gemaakt kunnen worden. Voor de hobbynetleden wordt een alias gemaakt met de naam van de gebruiker in de '''alias''' tabel. Er komt dus een '''<contact>@<systeem>.hobby.nl''' die naar de mailbox '''<contact>@<systeem>.hobby.nl''' wijst. De '''alias''' tabel is zichtbaar in PostfixAdmin. De alias tabel kan beheerd worden met PostfixAdmin. Via phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk alle tabellen in de database postfixadmin benaderd worden, mocht dit nodig zijn.

===gen_fff_hobbynet_alias===
Dit script genereert de '''fff_hnet@hobby.nl''' alias door uit hobbyabon.txt het emailadres van leden met code 0,1,2,3 te halen.

===gen_fff_www_alias===
Dit script genereert de '''fff_www@hobby.nl''' alias door uit hobbyabon.txt het emailadres te halen van dié leden die een website op een van de Hobbynet webservers hebben. Het is dus een subset van '''fff_hnet'''.

===gen_extra_alias===
Dit script leest '''extra_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die niet eenvoudig af te leiden zijn uit hobbyabon.txt en kaderfunc.txt.

===gen_scouthout_alias===
Dit script leest '''scouthout_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die te maken hebben met scouthout.nl. Er is tevens een scriptje '''dump_scouthout_aliases''' dat scouthout_aliases.txt kan genereren uit de alias tabel. Dit kan nuttig zijn als er updates via PostfixAdmin zijn gedaan door de scouthout admin.

===gen_alias2===
Dit script genereert alle '''kadernet''' aliases die uit kaderfunc.txt gemaakt kunnen worden. Voor de kaderleden waar het domain nog '''kader.hobby.nl''' is, wordt dat vervangen door '''kader.hcc.nl'''. Er wordt een alias gemaakt die naar de mailbox wijst (met het lidnummer uit kaderfunc.txt) en één met de HCC naam uit het in kaderfunc.txt opgenomen email adres. Er komt dus een '''1234567@kader.hcc.nl''' en een '''a.b.c.janssen@kader.hcc.nl''' die weer beide naar de mailbox '''1234567@kader.hcc.nl''' verwijzen. De alias tabel kan beheerd worden met PostfixAdmin. Via Phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk ook alle tabellen in de database postfixadmin benaderd worden.

===gen_func_alias===
Dit script genereert alle functionele aliases voor elke groepering. Het maakt aliases aan voor '''voorzitter@<groepering>.hcc.nl''', '''secretaris@<groepering>.hcc.nl''' en '''penningmeester@<groepering>.hcc.nl'''. Tevens wordt '''info@<groepering>.hcc.nl''' gemaakt die ook naar secretaris@<groepering>.hcc.nl verwijst. De informatie wordt gehaald uit de kaderfunc.txt file.

Om backwards compatible te zijn is ook voorzien in aliases voor 'voorz', 'secr' en 'penm' die verwijzen naar de lange naam. Uit praktische overweging worden hier ook de rfc mailboxen gemaakt. abuse@.. verwijst naar abuse@hobby.nl.

===gen_best_alias===
Dit script genereert de '''bestuur''' alias voor elke groepering. Dus per groepering de voorzitter, secretaris, penningmeester en bestuursleden met als alias '''bestuur@<groepering>.hcc.nl'''. De informatie wordt weer gehaald uit de '''kaderfunc.txt''' file. Sommige groeperingen zoals '''hobby-computer-club''' wordt overgeslagen. Er is geen '''bestuur@hobby-computer-club.hcc.nl'''...

===gen_webm_alias===
Voor de webmasters is een apart script gemaakt omdat er een variabel aantal webmasters per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''webmaster@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent. Ook wordt altijd de secretaris toegevoegd. In het geval dat er helemaal géén webmaster is aangemeld komt de mail dus tenminste in de mailbox van de secretaris ''(is dit nog zo?)''. Bron bestand is natuurlijk weer kaderfunc.txt.

===gen_kernl_alias===
Voor de kernleden is een apart script gemaakt omdat er een variabel aantal kernleden per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''kernleden@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent.

===gen_kadernet_alias===
Dit script leest kadernet_aliases.txt en genereert de SQL regels voor speciale kadernet aliases die niet uit kaderfunc.txt gemaakt kunnen worden.

===gen_ig_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van interessegroepen (vroeger gebruikersgroep) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''ig_''' alias te komen.

===gen_regio_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van regio's (vroeger afdeling) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''regio_''' alias te komen. Deze aliases zijn weer gecombineerd tot grotere groepen.
<pre>
Alle voorz, secr, penm, enz van ig's:
ig_voorz@kader.hcc.nl
ig_secr@kader.hcc.nl
ig_penm@kader.hcc.nl
ig_bestl@kader.hcc.nl
ig_kernl@kader.hcc.nl
ig_webm@kader.hcc.nl

Alle voorz, secr, penm, enz van regio's
regio_voorz@kader.hcc.nl
regio_secr@kader.hcc.nl
regio_penm@kader.hcc.nl
regio_bestl@kader.hcc.nl
regio_kernl@kader.hcc.nl
regio_webm@kader.hcc.nl

Alle voorzitters, secr, enz:
fff_voorz@kader.hcc.nl (ig_voorz@kader.hcc.nl en regio_voorz@kader.hcc.nl samen)
fff_secr@kader.hcc.nl (alle secretarissen)
fff_penm@kader.hcc.nl
fff_bestl@kader.hcc.nl
fff_kernl@kader.hcc.nl
fff_webm@kader.hcc.nl

Alle bestuursleden van resp. ig's en regio's:
fff_ig_bestuur@kader.hcc.nl (ig_voorz, ig_secr, ig_penm en ig_bestl@kader.hcc.nl samen)
fff_regio_bestuur@kader.hcc.nl (regio_voorz, regio_secr, regio_penm en regio_bestl@kader.hcc.nl samen)

Alle bestuursleden:
fff_bestuur@kader.hcc.nl (de 4 ig_<func> en de 4 regio_<func> samen)

Alle kaderleden:
fff_kader@kader.hcc.nl (ALLE kaderleden samen, dus besturen maar nu ook met de kernleden en webmasters)
</pre>

===gen_sr_presentatoren en gen_sr_regio_coordinatoren_alias===
Deze twee scripts genereren de aliases voor de regio_coordinatoren en presentatoren van de SeniorenAcademie (SR). Voor deze functionarissen is een virtuele IG gemaakt (SR-Ambassadeurs) omdat niet alle functionarissen lid zijn van SR. Indelen bij de regio was een optie maar dan liggen er problemen op de loer met verhuizingen. 
'''PAS OP''': deze scripts bevatten hard gecodeerde waarden!

===gen_fff_kadernet_alias===
Dit script genereert de '''fff_kader@kader.hcc.nl'''. Hiervoor wordt kaderfunc.txt gebruikt (code 5). 
Op verzoek van het Kantoor worden enkele kantoor functies in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''fff_''' aliases te komen.

==Genereren van de domains==
Postfix kan de email voor vele domeinen afhandelen. Om ongewenst relayeren (spam!) te voorkomen moeten de domeinen van de geadresseerden gecheckt kunnen worden.

===gen_domain===
Dit script genereert de hobbynet domeinen voor de domeinen in hobbyabon.txt voor de tabel '''domain'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin.

===gen_all_domain===
Het bronbestand voor gen_all_domain is '''all_domains.txt'''. Het script '''gen_all_domain''' voegt records toe aan de domain tabel die betrekking hebben op alle beheerde domeinen. Dit zijn b.v. hccm.nl en hcc-watersport.nl maar weer NIET modelbaan-gg.hcc.nl. Die laatste wordt door gen_domain2 aangemaakt.

===gen_domain2===
Dit script genereert de kadernet domeinen. Voor kadernet wordt '''kader.hobby.nl''' vervangen door '''kader.hcc.nl'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin. Er worden domeinen gemaakt zonder de '''afd-''' of '''-gg''' en met '''regio-''' i.p.v. '''afd-''' en '''-ig''' i.p.v. '''-gg'''.

==Genereren van de alias-domains==
Postfix kent een z.g. alias_domain. Dit is een domeinnaam die een alias is voor een andere domeinnaam. Alle email adressen in het originele domein komen 1 op 1 voor in het alias domein.

===gen_extra_alias_domain===
Dit script leest '''extra_alias_domains.txt''' en genereert SQL regels voor de tabel alias_domain

De layout van de tekst file is simpel: alias_domain, target_domain. Voorbeeld:
# list of alias_domains
# mirror.tld,target.tld
#
hccm.nl:modelbaan-gg.hcc.nl
hcc-modelbaan.nl:modelbaan-gg.hcc.nl
hcc-games.nl:games-gg.hcc.nl
hcc-clan.nl:games-gg.hcc.nl

'''Opm''': De automatisch gegenereerde HCC domeinnamen (ontstaan door -gg/afd-/cg- weg te laten) mogen dus NIET in de platte tekst file staan.

===gen_alias_domain2===
Dit script genereert alle HCC afdeling en ig domeinen maar dan zonder de '''afd-''' prefix en '''-gg''' suffix. Input is kaderfunc.txt.

==Systemusers==
Het upd_smail script genereert tevens een soor virtualusers bestand voor Roundcube. Om de kaderleden in staat te stellen met slechts hun lidnummer in te loggen op webmail is er een default domein '''kader.hcc.nl''' gedefinieerd. Als iemand zonder domein inlogt, wordt '''@kader.hcc.nl''' toegevoegd. Door fake entries op te nemen met <systeemuser>@kader.hcc.nl en een alias '''zonder ''' domein kunnen die toch inloggen op het webinterface. De laatste groep zijn de hobbynet users die vanouds met S<systeem> konden inloggen. Voor hen wordt ook een fake entry gemaakt met S<systeem>@kader.hcc.nl met als alias het opgegeven email adres. Voor dit email adres is eerder een mailbox aangemaakt.
 
De beschreven faciliteit bestaat alleen voor het Roundcube web email interface. Pop3 en imap clients moeten, behalve voor systeemusers, altijd een domein meegeven!

==Extra scripts==
L8er...

Terug naar [[EMAIL]]

Uitleg scripts

2020-04-18T09:41:23Z

Egbert: /* gen_mailbox */

==Introductie==
De scripting is er op gericht een aantal tabellen te vullen in de postfixadmin database. De tabellen zijn in eerste instantie helemaal standaard gehouden zoals postfixadmin ze aanmaakt bij de installatie. Postfixadmin kan worden gebruikt om veranderingen in de data aan te brengen. Later zijn enkele velden toegevoegd voor het specifieke gebruik binnen Hobbynet. Voornamelijk om het creëren van tekst bestanden als bron bestanden aan te maken.

===Proces===
Het hele proces is gericht op het behoud van (mogelijk gewijzigde) data. In de aanloop fase werden de platte tekst bestanden met de hand bijgehouden waarna de database tabellen gegenereerd werden. In de test fase werden de uit de database gemaakte tekst bestanden vergeleken met de originele bestanden. In de productie fase zijn er geen originele tekst bestanden meer; de vorige versie wordt veilig gesteld en daarna vervangen door de verse dump uit de database. Op die wijze worden nieuwe records meegenomen die met PostfixAdmin in de database zijn gemaakt. De laatst bekende data in de database wordt namelijk eerst gedumpt naar tekst bestanden, die vervolgens weer worden gebruikt om de database te laden. De externe bestanden hobbyabon.txt (was husers) en kaderfunc.txt (was b3a.txt) zijn hier een uitzondering op; die worden nooit overschreven maar door het script '''upd_mailserver''' op de LDAP server geplaatst. '''upd_smail''' op de mailserver doet de rest. 
Zie ook de pagina [[bronbestanden]].

===Locatie van de bestanden===
De bron bestanden: '''kaderfunc.txt''', '''hobbyabon.txt''' staan in de data directory (via scp van hcc-ldap-lb1 afkomstig), '''extra_alias_domains.txt''', '''extra_aliases.txt''', '''scouthout_aliases.txt''' en de '''_header/_footer''' bestanden (.tmpl) staan ook in '''/usr/local/hobbynet/data''' directory.

De scripts staan in '''/usr/local/hobbynet/local'''. De backups van de database en tekst bestanden komen in '''/usr/local/hobbynet/data/backup''' terecht. De door de scripts gegenereerde MySQL bestanden komen in '''/usr/local/hobbynet/data/loader'''.

De bestanden in de backup directory moeten geregeld opgeruimd worden; er zit geen limiet op het aantal versies. In de backup directory staat ook een script om een versie van een bepaalde datum/tijd snel terug te zetten waarna '''upd_smail''' de database herlaadt.

===Scripts===
De (perl) scripts zijn bewust kort en simpel gehouden om ze zo modulair mogelijk te maken. De tactiek is telkens hetzelfde: bij elk te maken SQL loader bestand is er een header, tussenliggende gelijksoortige data regels en een footer te onderscheiden.
* De header is alle tekst die door een MySQL dump gemaakt wordt (met een delete-if-exists erin), tot en met de eerste SQL regel: INSERT INTO...VALUES.
* De diverse scripts voegen de tussenliggende data regels toe.
* De footer is gewoonlijk een laatste data regel maar dan eindigend op ''';''' in plaats van ''',''' en de afsluitende regels van de dump.
Een dergelijk SQL loader bestand is zonder meer terug te laden in MySQL. De tabel wordt eerst weggegooid en wordt daarna opnieuw aangemaakt.

==upd_smail==
Dit script is het overkoepelende script dat alle '''dump_*''' en '''gen_*''' scripts uitvoert en mysql aanroept om de database te laden. '''upd_smail''' op zijn beurt wordt weer door '''upd_all''' aangeroepen. In dit '''upd_smail''' script worden vóórdat de tabellen vanaf scratch worden opgebouwd, de 4 tabellen veilig gesteld in een backup directory. Tevens worden tekst bestanden aangemaakt van die delen van de database die met de hand veranderd kunnen zijn. Het uitgangspunt is hier dat de database de echte waarheid is en de bronbestanden achter kunnen lopen.

Het '''all_domains.txt''' bestand bevat de domeinen waar HCC voor betaalt aan SIDN. Ook de benodigde speciale subdomeinen staan in het all_domains.txt bestand.

Per tabel worden de SQL header files samengevoegd met de output van de verschillende gen_* scripts. Tenslotte wordt een SQL footer toegevoegd, vaak alleen om de SQL te beëindigen met een ''';'''. Daarna wordt de tabel in MySQL aangemaakt en de data geladen. De
tabellen worden dus in z'n geheel vervangen. Als laatste wordt een soort van '''virtalias''' bestand voor Roundcube gemaakt. Hieronder de complete '''upd_smail''' (slechts als referentie, kijk altijd naar het script op de server zelf):
<pre>
#!/bin/sh
#
# $Id: /usr/local/hobbynet/bin/upd_smail $
#
# Driver voor alle subtaken dump... en gen....
#
# usage: ./upd_smail
#

CHOWN=/bin/chown
CHMOD=/bin/chmod

HNET=/usr/local/hobbynet
HNET_BIN=$HNET/bin
HNET_LIB=$HNET/lib
HNET_BCK=$HNET/lib/backup
HNET_LDR=$HNET/lib/loader

ID=$(date +"%Y%m%d-%H%M%S")

cd $HNET_LIB

#
# save all 4 tables with unique name
#
mysqldump -u postfixadmin -ppassword -c postfixadmin mailbox >$HNET_BCK/mailbox_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias >$HNET_BCK/alias_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin domain >$HNET_BCK/domain_$ID.sql
mysqldump -u postfixadmin -ppassword -c postfixadmin alias_domain >$HNET_BCK/alias_domain_$ID.sql
#
# save extra mailboxes
#
echo "Saving extra mailboxess..."
cp $HNET_LIB/extra_mailboxes.txt $HNET_BCK/extra_mailboxes_$ID.txt
$HNET_BIN/dump_extra_mailboxes | sort >$HNET_LIB/extra_mailboxes.txt
#
# save scouthout aliases
#
echo "Saving scouthout aliases..."
cp $HNET_LIB/scouthout_aliases.txt $HNET_BCK/scouthout_aliases_$ID.txt
$HNET_BIN/dump_scouthout_aliases | sort >$HNET_LIB/scouthout_aliases.txt
#
# save new and extra aliases
#
echo "Saving new and extra aliases..."
cp $HNET_LIB/extra_aliases.txt $HNET_BCK/extra_aliases_$ID.txt
$HNET_BIN/dump_extra_aliases | sort >$HNET_LIB/extra_aliases.txt
#
# save hcc and other domains
#
echo "Saving hcc and other domains..."
cp $HNET_LIB/all_domains.txt $HNET_BCK/all_domains_$ID.txt
$HNET_BIN/dump_all_domains | sort >$HNET_LIB/all_domains.txt
#
# save new and extra domain_aliases
#
echo "Saving new and extra domain_aliases..."
cp $HNET_LIB/extra_alias_domains.txt $HNET_BCK/extra_alias_domains_$ID.txt
$HNET_BIN/dump_extra_alias_domains | sort >$HNET_LIB/extra_alias_domains.txt
#
# prepare emergency backup procedure (here-doecument)
#
cat > $HNET_BCK/restore_$ID <<END
#!/bin/bash
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/mailbox_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/domain_$ID.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_BCK/alias_domain_$ID.sql
cp $HNET_BCK/extra_mailboxes_$ID.txt $HNET_LIB/extra_mailboxes.txt
cp $HNET_BCK/scouthout_aliases_$ID.txt $HNET_LIB/scouthout_aliases.txt
cp $HNET_BCK/extra_aliases_$ID.txt $HNET_LIB/extra_aliases.txt
cp $HNET_BCK/all_domains_$ID.txt $HNET_LIB/all_domains.txt
cp $HNET_BCK/extra_alias_domains_$ID.txt $HNET_LIB/extra_alias_domains.txt
END
chmod 755 $HNET_BCK/restore_$ID
#
# build all 4 tables from input files
#
echo "Building mailbox table for Hobbynet/Kadernet..."
cp $HNET_LIB/mailbox_header.tmpl $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_mailbox2 | sort | uniq >> $HNET_LDR/mailbox.sql
$HNET_BIN/gen_extra_mailbox >> $HNET_LDR/mailbox.sql
cat $HNET_LIB/mailbox_footer.tmpl >> $HNET_LDR/mailbox.sql
$CHMOD 644 $HNET_LDR/mailbox.sql
$CHOWN root:root $HNET_LDR/mailbox.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/mailbox.sql
#
echo "Building alias table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_header.tmpl $HNET_LDR/alias.sql
$HNET_BIN/gen_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_hobbynet_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_fff_www_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_extra_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_scouthout_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_alias2 | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_func_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_best_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_group_alias | sort | uniq >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ig_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_voorz_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_kernl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_secr_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_penm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_webm_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_regio_bestl_alias >> $HNET_LDR/alias.sql
$HNET_BIN/gen_ledenraad_alias >> $HNET_LDR/alias.sql
# use temporary file with unique mail addresses
cut --delimiter="," --field=4 $HNET_LIB/kaderfunc.txt | sort | uniq > $HNET_LIB/kaderfunc-sorted.txt
$HNET_BIN/gen_fff_kadernet_alias >> $HNET_LDR/alias.sql
rm $HNET_LIB/kaderfunc-sorted.txt
#
cat $HNET_LIB/alias_footer.tmpl >> $HNET_LDR/alias.sql
$CHMOD 644 $HNET_LDR/alias.sql
$CHOWN root:root $HNET_LDR/alias.sql
mysql -u postfixadmin -ppassword -c postfixadmin <$HNET_LDR/alias.sql
#
echo "Building domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/domain_header.tmpl $HNET_LDR/domain.sql
$HNET_BIN/gen_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_all_domain >> $HNET_LDR/domain.sql
$HNET_BIN/gen_domain2 >> $HNET_LDR/domain.sql
cat $HNET_LIB/domain_footer.tmpl >> $HNET_LDR/domain.sql
$CHMOD 644 $HNET_LDR/domain.sql
$CHOWN root:root $HNET_LDR/domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/domain.sql
#
echo "Building alias_domain table for Hobbynet/Kadernet..."
cp $HNET_LIB/alias_domain_header.tmpl $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_extra_alias_domain >> $HNET_LDR/alias_domain.sql
$HNET_BIN/gen_alias_domain2 >> $HNET_LDR/alias_domain.sql
cat $HNET_LIB/alias_domain_footer.tmpl >> $HNET_LDR/alias_domain.sql
$CHMOD 644 $HNET_LDR/alias_domain.sql
$CHOWN root:root $HNET_LDR/alias_domain.sql
mysql -u postfixadmin -ppassword postfixadmin <$HNET_LDR/alias_domain.sql
#
echo ""
echo "Building systemusers for Roundcube..."
cp $HNET_LIB/systemusers.tmpl $HNET_LIB/systemusers
$HNET_BIN/gen_systemusers >> $HNET_LIB/systemusers
$CHMOD 644 $HNET_LIB/systemusers
$CHOWN root:root $HNET_LIB/systemusers
#
echo ""
echo "Dumping transport for mail-dev..."
$HNET_BIN/dump_transport >$HNET_LIB/transport
cp /etc/postfix/transport /etc/postfix/transport.old
cp $HNET_LIB/transport /etc/postfix/transport
postmap /etc/postfix/transport
#
echo "Dumping relay_recipients for mail-dev..."
$HNET_BIN/dump_relay_recipients >$HNET_LIB/relay_recipients
cp /etc/postfix/relay_recipients /etc/postfix/relay_recipients.old
cp $HNET_LIB/relay_recipients /etc/postfix/relay_recipients
postmap /etc/postfix/relay_recipients
#
echo "Dumping relay_domains for mail2..."
$HNET_BIN/dump_mail2_domains >$HNET_LIB/relay_domains
#
# EOF
#
</pre>

== Conversie van data naar tekst bestanden==
Wat ooit gestart is al met de hand beheerde tekst bestanden, is vervangen door bestanden gemaakt uit de PFA database. Omdat alle updates m.b.v. PFA gemaakt worden, zijn die gegevens nieuwer. Door die eerst te dumpen en daarna weer te gebruiken als bron bestand blijven wijzigingen bewaard.
===dump_all_domains===
Maakt een tekst bestand in '''all_domains.txt''' van de alle domeinen in de domain tabel.
===dump_extra_alias_domains===
Maakt een tekst bestand '''extra_alias_domains.txt''' uit de '''alias_domain''' tabel.
===dump_extra_aliases===
Maakt een tekst bestand '''extra_aliases.txt''' uit de '''alias''' tabel.
===dump_extra_mailboxes===
Maakt een tekst bestand '''extra_mailboxes.txt''' uit de '''mailbox''' tabel.
===dump_mail2_domains===
Maakt een tekst bestand '''relay_domains''' uit de '''domain''' tabel voor gebruik op '''mail2'''.
===dump_relay_recipients===
Maakt een tekst bestand '''relay_recipients''' aan voor Postfix. Dit bestand moet naar /etc/postfix op mail-dev gekopieerd worden en er moet een postmap op uitgevoerd worden.
===dump_scouthout_aliases===
Maakt een tekst bestand '''scouthout_aliases.txt''' uit de '''alias''' tabel.
===dump_transport===
Maakt een tekst bestand '''transport''' aan voor Postfix. Dit bestand moet naar /etc/postfix gekopieerd worden en er moet een postmap op uitgevoerd worden.

==Genereren van de mailboxen==
Alle (ook virtuele) gebruikers waarvoor mail-dev eindstation is voor email, hebben een home directory en een mailbox in een mail directory op dit systeem. Zowel HCC!Hobbynet als de HCC!Kadernet leden hebben allemaal een mailbox met Maildir structuur in /disk/mail/vmail/<domain>/<user>/Maildir/.

===gen_mailbox===
Dit script maakt de '''hobbynet''' mailbox informatie aan. De passwords zijn afkomstig uit ldap op hcc-ldap-lb1. De mailbox naam was '''altijd''' <contact>@<systeem>.hobby.nl voor hobbynetleden. Het domein is altijd '''<systeem>.hobby.nl'''. Het '''type''' attribute in ldap wordt ook bewaard in de mailbox db tabel.

Om het mogelijk te maken alle Hobbynet mail ergens anders af te leveren is de scripting aangepast (vbs20200416). Het mail veld in ou=users bepaald of er een mailbox wordt gemaakt os dat er forwarding wordt gedaan.

===gen_mailbox2===
Dit script maakt de '''kadernet''' mailbox informatie aan. De mailbox naam is '''altijd''' <lidnummer>@kader.hcc.nl voor kaderleden. Het domein voor kaderleden is dus altijd '''kader.hcc.nl'''.

===gen_extra_mailbox===
Dit script maakt mailboxen aan die niet uit de andere bronnen te herleiden zijn. De mailboxen krijgen type 9.

==Genereren van de aliases==
Email die op een domein op mail-dev wordt afgeleverd om direct weer verder gestuurd te worden heeft geen mailbox nodig. Voorbeeld hiervan is scouthout.nl. Alle email adressen expanderen via '''aliases''' naar een of meer externe adressen. Mail-dev fungeert hiervoor dus als mailrelay. Aliases zijn ook nodig voor functionele email adressen van kadernet functies zoals voorzitter, secretaris, enz. Ook zijn er adressen nodig voor grotere groepen ten bate van het kantoor zodat ze alle penningmeesters tegelijk kunnen mailen. De alias tabel wordt dus vrij groot. Er zijn weer meerdere kleine scripts die de tabellen vullen.

===gen_alias===
Dit script genereert alle '''hobbynet''' aliases die uit hobbyabon.txt gemaakt kunnen worden. Voor de hobbynetleden wordt een alias gemaakt met de naam van de gebruiker in de '''alias''' tabel. Er komt dus een '''<contact>@<systeem>.hobby.nl''' die naar de mailbox '''<contact>@<systeem>.hobby.nl''' wijst. De '''alias''' tabel is zichtbaar in PostfixAdmin. De alias tabel kan beheerd worden met PostfixAdmin. Via phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk alle tabellen in de database postfixadmin benaderd worden, mocht dit nodig zijn.

===gen_fff_hobbynet_alias===
Dit script genereert de '''fff_hnet@hobby.nl''' alias door uit hobbyabon.txt het emailadres van leden met code 0,1,2,3 te halen.

===gen_fff_www_alias===
Dit script genereert de '''fff_www@hobby.nl''' alias door uit hobbyabon.txt het emailadres te halen van dié leden die een website op een van de Hobbynet webservers hebben. Het is dus een subset van '''fff_hnet'''.

===gen_extra_alias===
Dit script leest '''extra_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die niet eenvoudig af te leiden zijn uit hobbyabon.txt en kaderfunc.txt.

===gen_scouthout_alias===
Dit script leest '''scouthout_aliases.txt''' en genereert regels in de sql-loaderfile. Het betreft aliases die te maken hebben met scouthout.nl. Er is tevens een scriptje '''dump_scouthout_aliases''' dat scouthout_aliases.txt kan genereren uit de alias tabel. Dit kan nuttig zijn als er updates via PostfixAdmin zijn gedaan door de scouthout admin.

===gen_alias2===
Dit script genereert alle '''kadernet''' aliases die uit kaderfunc.txt gemaakt kunnen worden. Voor de kaderleden waar het domain nog '''kader.hobby.nl''' is, wordt dat vervangen door '''kader.hcc.nl'''. Er wordt een alias gemaakt die naar de mailbox wijst (met het lidnummer uit kaderfunc.txt) en één met de HCC naam uit het in kaderfunc.txt opgenomen email adres. Er komt dus een '''1234567@kader.hcc.nl''' en een '''a.b.c.janssen@kader.hcc.nl''' die weer beide naar de mailbox '''1234567@kader.hcc.nl''' verwijzen. De alias tabel kan beheerd worden met PostfixAdmin. Via Phpmyadmin op dbadmin.hobby.nl kunnen natuurlijk ook alle tabellen in de database postfixadmin benaderd worden.

===gen_func_alias===
Dit script genereert alle functionele aliases voor elke groepering. Het maakt aliases aan voor '''voorzitter@<groepering>.hcc.nl''', '''secretaris@<groepering>.hcc.nl''' en '''penningmeester@<groepering>.hcc.nl'''. Tevens wordt '''info@<groepering>.hcc.nl''' gemaakt die ook naar secretaris@<groepering>.hcc.nl verwijst. De informatie wordt gehaald uit de kaderfunc.txt file.

Om backwards compatible te zijn is ook voorzien in aliases voor 'voorz', 'secr' en 'penm' die verwijzen naar de lange naam. Uit praktische overweging worden hier ook de rfc mailboxen gemaakt. abuse@.. verwijst naar abuse@hobby.nl.

===gen_best_alias===
Dit script genereert de '''bestuur''' alias voor elke groepering. Dus per groepering de voorzitter, secretaris, penningmeester en bestuursleden met als alias '''bestuur@<groepering>.hcc.nl'''. De informatie wordt weer gehaald uit de '''kaderfunc.txt''' file. Sommige groeperingen zoals '''hobby-computer-club''' wordt overgeslagen. Er is geen '''bestuur@hobby-computer-club.hcc.nl'''...

===gen_webm_alias===
Voor de webmasters is een apart script gemaakt omdat er een variabel aantal webmasters per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''webmaster@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent. Ook wordt altijd de secretaris toegevoegd. In het geval dat er helemaal géén webmaster is aangemeld komt de mail dus tenminste in de mailbox van de secretaris ''(is dit nog zo?)''. Bron bestand is natuurlijk weer kaderfunc.txt.

===gen_kernl_alias===
Voor de kernleden is een apart script gemaakt omdat er een variabel aantal kernleden per groepering kan zijn. Bron bestand is weer kaderfunc.txt. Dit script genereert de '''kernleden@<groepering>.hcc.nl''' alias die een variabel aantal target mailboxen kent.

===gen_kadernet_alias===
Dit script leest kadernet_aliases.txt en genereert de SQL regels voor speciale kadernet aliases die niet uit kaderfunc.txt gemaakt kunnen worden.

===gen_ig_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van interessegroepen (vroeger gebruikersgroep) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''ig_''' alias te komen.

===gen_regio_<func>_alias===
Deze scripts genereren een alias die alle voorzitters, secretarissen, penningmeesters, webmasters, gewone bestuursleden en kernleden van regio's (vroeger afdeling) als target hebben. Deze aliasen worden zelden gebruikt, maar voorzien erin om alle penningmeesters uit te nodigen voor een penm. overleg. De script zijn nagenoeg identiek. Zoals altijd zijn de target adressen mailboxen (herkenbaar aan het lidnummer). Bron bestand is kaderfunc.txt. 
Op verzoek van het Kantoor worden enkele key-personen in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''regio_''' alias te komen. Deze aliases zijn weer gecombineerd tot grotere groepen.
<pre>
Alle voorz, secr, penm, enz van ig's:
ig_voorz@kader.hcc.nl
ig_secr@kader.hcc.nl
ig_penm@kader.hcc.nl
ig_bestl@kader.hcc.nl
ig_kernl@kader.hcc.nl
ig_webm@kader.hcc.nl

Alle voorz, secr, penm, enz van regio's
regio_voorz@kader.hcc.nl
regio_secr@kader.hcc.nl
regio_penm@kader.hcc.nl
regio_bestl@kader.hcc.nl
regio_kernl@kader.hcc.nl
regio_webm@kader.hcc.nl

Alle voorzitters, secr, enz:
fff_voorz@kader.hcc.nl (ig_voorz@kader.hcc.nl en regio_voorz@kader.hcc.nl samen)
fff_secr@kader.hcc.nl (alle secretarissen)
fff_penm@kader.hcc.nl
fff_bestl@kader.hcc.nl
fff_kernl@kader.hcc.nl
fff_webm@kader.hcc.nl

Alle bestuursleden van resp. ig's en regio's:
fff_ig_bestuur@kader.hcc.nl (ig_voorz, ig_secr, ig_penm en ig_bestl@kader.hcc.nl samen)
fff_regio_bestuur@kader.hcc.nl (regio_voorz, regio_secr, regio_penm en regio_bestl@kader.hcc.nl samen)

Alle bestuursleden:
fff_bestuur@kader.hcc.nl (de 4 ig_<func> en de 4 regio_<func> samen)

Alle kaderleden:
fff_kader@kader.hcc.nl (ALLE kaderleden samen, dus besturen maar nu ook met de kernleden en webmasters)
</pre>

===gen_sr_presentatoren en gen_sr_regio_coordinatoren_alias===
Deze twee scripts genereren de aliases voor de regio_coordinatoren en presentatoren van de SeniorenAcademie (SR). Voor deze functionarissen is een virtuele IG gemaakt (SR-Ambassadeurs) omdat niet alle functionarissen lid zijn van SR. Indelen bij de regio was een optie maar dan liggen er problemen op de loer met verhuizingen. 
'''PAS OP''': deze scripts bevatten hard gecodeerde waarden!

===gen_fff_kadernet_alias===
Dit script genereert de '''fff_kader@kader.hcc.nl'''. Hiervoor wordt kaderfunc.txt gebruikt (code 5). 
Op verzoek van het Kantoor worden enkele kantoor functies in de alias gezet. Deze personen dienen in de alias '''kantoor@kader.hcc.nl''' (in extra_aliases.txt) gezet te worden om in de '''fff_''' aliases te komen.

==Genereren van de domains==
Postfix kan de email voor vele domeinen afhandelen. Om ongewenst relayeren (spam!) te voorkomen moeten de domeinen van de geadresseerden gecheckt kunnen worden.

===gen_domain===
Dit script genereert de hobbynet domeinen voor de domeinen in hobbyabon.txt voor de tabel '''domain'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin.

===gen_all_domain===
Het bronbestand voor gen_all_domain is '''all_domains.txt'''. Het script '''gen_all_domain''' voegt records toe aan de domain tabel die betrekking hebben op alle beheerde domeinen. Dit zijn b.v. hccm.nl en hcc-watersport.nl maar weer NIET modelbaan-gg.hcc.nl. Die laatste wordt door gen_domain2 aangemaakt.

===gen_domain2===
Dit script genereert de kadernet domeinen. Voor kadernet wordt '''kader.hobby.nl''' vervangen door '''kader.hcc.nl'''. Ook hier geldt weer dat de '''domain''' tabel beheerbaar is in PostfixAdmin. Er worden domeinen gemaakt zonder de '''afd-''' of '''-gg''' en met '''regio-''' i.p.v. '''afd-''' en '''-ig''' i.p.v. '''-gg'''.

==Genereren van de alias-domains==
Postfix kent een z.g. alias_domain. Dit is een domeinnaam die een alias is voor een andere domeinnaam. Alle email adressen in het originele domein komen 1 op 1 voor in het alias domein.

===gen_extra_alias_domain===
Dit script leest '''extra_alias_domains.txt''' en genereert SQL regels voor de tabel alias_domain

De layout van de tekst file is simpel: alias_domain, target_domain. Voorbeeld:
# list of alias_domains
# mirror.tld,target.tld
#
hccm.nl:modelbaan-gg.hcc.nl
hcc-modelbaan.nl:modelbaan-gg.hcc.nl
hcc-games.nl:games-gg.hcc.nl
hcc-clan.nl:games-gg.hcc.nl

'''Opm''': De automatisch gegenereerde HCC domeinnamen (ontstaan door -gg/afd-/cg- weg te laten) mogen dus NIET in de platte tekst file staan.

===gen_alias_domain2===
Dit script genereert alle HCC afdeling en ig domeinen maar dan zonder de '''afd-''' prefix en '''-gg''' suffix. Input is kaderfunc.txt.

==Systemusers==
Het upd_smail script genereert tevens een soor virtualusers bestand voor Roundcube. Om de kaderleden in staat te stellen met slechts hun lidnummer in te loggen op webmail is er een default domein '''kader.hcc.nl''' gedefinieerd. Als iemand zonder domein inlogt, wordt '''@kader.hcc.nl''' toegevoegd. Door fake entries op te nemen met <systeemuser>@kader.hcc.nl en een alias '''zonder ''' domein kunnen die toch inloggen op het webinterface. De laatste groep zijn de hobbynet users die vanouds met S<systeem> konden inloggen. Voor hen wordt ook een fake entry gemaakt met S<systeem>@kader.hcc.nl met als alias het opgegeven email adres. Voor dit email adres is eerder een mailbox aangemaakt.
 
De beschreven faciliteit bestaat alleen voor het Roundcube web email interface. Pop3 en imap clients moeten, behalve voor systeemusers, altijd een domein meegeven!

==Extra scripts==
L8er...

Terug naar [[EMAIL]]