LDAP

2017-09-18T19:27:20Z

2001:980:5570:1:49E2:72B2:401:3A69: /* add-schema.ldif */

==Introductie==
Om een centrale plaats te hebben om authenticatie te doen voor www.hcc.nl en sub-sites zoals een forum, is gekozen voor het gebruik van een LDAP database/directory. Hierin wordt alles opgeslagen wat nodig is voor het functioneren van de site, inclusief NAW gegevens die op dit moment alleen opgeslagen worden t.b.v. het PC30 beheerscherm.

==LDAP server keuze==
De voor de hand liggende keuze is OpenLDAP. Echter zijn er geluiden gehoord dat OpenLDAP niet zou schalen. Alternatieven zijn b.v. 389server maar die is erg slecht gesupport onder Ubuntu. Voorlopig starten we met OpenLDAP.

==Loadbalanced==
Er zijn twee servers (hcc-ldap-lb1 en hcc-ldap-lb2) die achter een loadbalancer in preferred server mode staan zodat het verkeer altijd naar server1 gestuurd wordt. Beide servers houden elkaar up-to-date. In de gewone situatie zullen alle reads en writes naar server1 gaan en server2 wordt door server1 bijgewerkt. Valt server1 weg, dan zal de loadbalancer overschakelen naar server2 waar vanaf dan de read en writes plaatsvinden. Zodra server1 weer beschikbaar is, wordt die bijgewerkt en zal weer master worden.

==Installatie==
Installatie van OpenLDAP is simpel:
aptitude install slapd ldap-utils
Als er gebruikgemaakt wordt van php scripts, is het ook nodig '''php5-cli''' en '''php5-ldap''' te installeren. De configuratie van OpenLDAP is sinds Karmic Koala iets gecompliceerder geworden. 'cn=config' wordt nog steeds gebruikt maar tijdens installatie wordt alleen een skeleton configuratie geïnstalleerd. Er wordt niet meer gevraagd om een password tijdens de installatie en met "dpkg-reconfigure slapd" zet alleen de skeleton configuratie terug. Je moet zelf de database, root dn en acl's opzetten (als root of met sudo). Run '''dpkg-reconfigure slapd''' om terug te gaan naar een lege directory.

UPDATE: in Oneiric Ocelot (11.10) is weer wel de mogelijkheid gegeven bij installatie een database aan te maken. Default wordt echter de fqdn hostname gebruikt. Bij dpkg-reconfigure kan het gewenste domein wel opnieuw gegeven worden. De initiële configuratie staat in /usr/share/slapd/slapd.init.ldif.

UPDATE: bij de upgrade naar 16.04.1 zijn proefondervindelijk nog wat extra handelingen nodig gebleken.
xml server updaten naar ubuntu 16.04. WIP!
<pre>
- apt-get install phpmyadmin
- apt-get install aptitude
- apt-get install php-xmlrpc
- apt-get install php7.0-ldap
- phpenmod xml
- phpenmod mysqli
('php -m' toont de geactiveerde modules)
- apache2ctl restart

phpmyadmin werkt niet:
- apt-get install php-mbstring
- apt-get install php-gettext

ontbrekende pakketten volgens hjv:

apt-get install aptitude
apt-get install phpmyadmin
apt-get install php-mbstring
apt-get install php-gettext
apt-get install php-xmlrpc
apt-get install php7.0-ldap
apt-get install mysql-server
apt-get install ldapscripts
apt-get install php7.0-xml
apt-get install slapd
apt-get install ldap-utils
a2enmod ssl

* Voer de laatste stappen uit, zoals beschreven in de Hobbynet wiki: *

- openldap moet lid zijn van de groep ssl-cert!
apt-get install ssl-cert
adduser openldap ssl-cert
(of vi /etc/group
ssl-cert:x:116:openldap)

- Zorg dat de LDAP deamon bij de certificaten kan komen.
LET OP: op alle hobbynet servers staan de certificaten in /site/disk/etc/ssl/hobby.nl/
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

- Vertel LDAP (en PHP) clients welke certificaten toegestaan zijn
vi /etc/ldap/ldap.conf
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow

- mysql laat het bestand ibdata1 ongelimiteerd groeien (InnoDB bestanden)
/etc/mysql/my.cnf
innodb_file_per_table

=============
Hobbynet aanpassingen
/etc/bash.bashrc
export http_proxy=http://squid-int.hobby.nl:3128
export https_proxy=http://squid-int.hobby.nl:3128
export ftp_proxy=http://squid-int.hobby.nl:3128
</pre>

===Locatie bestanden===
Om de benodigde bestanden op de server te krijgen zal scp gebruikt moet worden. Upload alles in een privé subdirectory. Copiëer daarna alles naar de juiste plaats en verander de owner in root.

* Alle ldif em tmpl bestanden gaan naar /usr/local/hobbynet/lib
* init_ldap en andere scripts gaan naar /usr/local/hobbynet/bin
* alle data bestanden (dumps) en update ldifs gaan naar /usr/local/hobbynet/data
* etc/ldap/schema/hcc_schema.* gaan naar /etc/ldap/schema
* etc/ldap/schema/ppolicy.ldif gaat naar /etc/ldap/schema

==Initiële database==
Direct na installatie (of na dpkg-reconfigure slapd) staat er een werkende doch lege directory in OpenLDAP. Access is alleen geregeld voor root. Dit heeft te maken met het feit dat vanaf Karmic Koala OpenLDAP alleen het minst noodzakelijke bevat om slapd te starten. Wordt echter init_ldap gebruikt dan wordt een werkende directory gemaakt met alle statische data (in diverse ou's) erin. Alleen zijn er geen leden geladen in de ou=leden en ou=inactieve_leden.
===slapd.init.ldif ===
Bij installatie/reconfiguratie wordt /usr/share/slapd/slapd.init.ldif ingelezen. Zie aldaar indien nodig.

==init_ldap script==
Het lokale script init-ldap doet een reset van de initiële Openldap configuratie. Dit heeft tot gevolg dat de DIT dc=hcc,dc=nl met een rootDN '''cn=admin,dc=hcc,dc=nl''' steeds opnieuw aangemaakt wordt. Alles wat we toegevoegd/gewijzigd willen hebben in de cn=config volgt daarna. Dit wordt afgesloten met een restart van de slapd server. Het script '''restore_ldap''' laadt vervolgens de laatste dump terug. Bij wijzigingen aan het schema is het raadzaam altijd een '''dump_ldap''' te doen zodat een later een actuele dump kan worden teruggeladen.

Het (plain text) password van cn=admin,dc=hcc,dc=nl moet bij het aanroepen van '''init_ldap''' op de commandline worden meegegeven. Tijdens de dpkg-reconfigure moet het password nog 2x gegeven worden. Lees eventueel ook de [http://www.openldap.org/doc/admin/ OpenLDAP Admin Guide].

Het init_ldap script bevat allerlei logica om op meerdere ldap servers gedraaid te kunnen worden. In grote lijnen valt het script in een aantal blokken uiteen:
* voorbereidingen om "dpkg-reconfigure slapd" te draaien
* definities van input files
* check host
* bouwen van het skelet van de nieuwe directory
Zie voor details van de scripts '''init_ldap''', '''dump_ldap''' en '''restore_ldap''' op een van de servers (in /usr/local/hobbynet/bin).

==onderdelen van init_ldap==
Init_ldap is opgezet om stap voor stap de database op te bouwen. Hieronder een beschrijving van de losse ldif bestanden die ingelezen worden. Incidenteel wordt een ldif gewijzigd; kijk altijd in de actuele bestanden!

===add-schema.ldif===
Omdat wij een aantal eigen attributes en Objectclasses hebben toegevoegd aam het schema, moeten deze aan OpenLDAP worden toegevoegd. Het schema moet nog worden omgezet naar ldif format.
* Hiertoe wordt het onderstaande schema in /etc/ldap/schema geplaatst als hcc_schema.schema.
* Vervolgens worden de stappen uitgevoerd zoals beschreven in de [https://help.ubuntu.com/11.10/serverguide/C/openldap-server.html Ubuntu Server guide], onder '''Modifying the slapd Configuration Database'''.
* De resulterende output file '''cn=hcc_schema.ldif''' moet dan nog naar /etc/ldap/schema/hcc_schema.ldif gecopieerd worden.
Als dit proces herhaald moet worden, start dan met een lege output directory en verwijder een eventueel achtergebleven cn=hcc_schema.ldif bestand.

De extra schema's worden middels een '''include''' toegevoegd. '''Ppolicy''' is op gelijke wijze als '''hcc_schema''' tot .ldif geconverteerd. Alle stappen om een nieuwe '''hcc-schema.ldif''' te maken zijn gescript in '''upd_schema'''. In '''init_ldap''' wordt het eigen schema en de password policy geladen:
<pre>
#######################################
## add-schema.ldif ##
#######################################
include: file:///etc/ldap/schema/hcc_schema.ldif
include: file:///etc/ldap/schema/ppolicy.ldif
include: file:///etc/ldap/schema/ldapns.ldif
</pre>

====schema updates====
Soms wordt een attribute toegevoegd of gewijzigd. Hiertoe dient het bestand hcc_schema.schema in /usr/local/hobbynet/etc/ldap/schema, gewijzigd te worden. Daarna dient er een ldif versi van gemaakt te worden. Gebruik hiervoor '''upd_schema.sh''' in dezelfde directory. De resulterende hcc_schema.ldif wordt in dit script naar /etc/ldap/schema gecopieërd. Bij grote wijzigingen is het aan te bevelen door de hele rebuild cycle te gaan (dump, init, restore). Bij triviale aanpassingen zou hcc_schema.ldif ook '''direct''' in de actieve directory geplaatst kunnen worden, gevolgd door slechts een '''service slapd restart'''. Gebruik hiervoor (blijf in de lokale schema directory):
<pre>
cp "ldif_output/cn=config/cn=schema/cn={14}hcc_schema.ldif" "/etc/ldap/slapd.d/cn=config/cn=schema/cn={4}hcc_schema.ldif"
</pre>
LET OP: De nummers tussen accolades zijn bepaald door de volgorde van andere scripts! Zolang geen andere schema's worden toegevoegd zullen ze niet veranderen.
 
ook kan met de ldap-tools gewerkt worden. Gebruik ldapsearch en ldapmodify, eventueel met de -f optie om een voorbereide serie opdrachten uit te voeren. Gebruik ldapsearch om eerst de structuur te vinden:
<pre>
$ sudo ldapsearch -Q -LLL -Y EXTERNAL -H ldapi:/// -b cn={4}hcc_schema,cn=schema,cn=config
</pre>
Hier een voorbeeld om een objectClass aan te passen:
<pre>
$ cat pas_aan.ldif
dn: cn={4}hcc_schema,cn=schema,cn=config
changetype: modify
delete: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description ) )
-
add: olcObjectClasses
olcObjectClasses: {7}( 1.3.6.1.4.1.12795.2.8 NAME 'hccRelatieNaam' \
DESC 'Naam van een klant of partner' SUP top STRUCTURAL MUST ( cn $userPassword )
MAY ( hccXmlIp4 $ hccXmlIp6 $ hccXmlAllow $ description $ hccIg ) )
-

$sudo ldapmodify -Q -Y EXTERNAL -H ldapi:/// -f pas_aan.ldif
</pre>

===modify_config.ldif===
Dit template dient om de SSL/TLS instelling toe te voegen in de ldap configuratie. Toegevoegd worden de certificaat gegevens om met TLS te kunnen werken. Het loglevel wordt op '''STATS''' gezet. Dit geeft niet teveel logging maar is toch goed bruikbaar. Om extra logging te krijgen op b.v. ACL's, verander olcLogLevel dan in "stats ACL".

Dit template wordt tijdens het draaien van het init_ldap script gecopieerd naar modify-config.ldif. Eventueel kan met place holders gewerkt worden (@...@), dit om op alle servers (ook test servers) één en hetzelfde script te kunnen gebruiken. Er zijn nog enkele van deze templates.
<pre>
#######################################
## modify-config.hobbynet ##
#######################################
dn: cn=config
replace: olcLogLevel
olcLogLevel: stats
-
replace: olcTLSCACertificateFile
olcTLSCACertificateFile: /disk/site/etc/ssl/hobby.nl/CA-bundel.crt
-
replace: olcTLSCertificateFile
olcTLSCertificateFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.crt
-
replace: olcTLSCertificateKeyFile
olcTLSCertificateKeyFile: /disk/site/etc/ssl/hobby.nl/hobby.nl.key

</pre>
Om de logging in een apart bestand te krijgen moet in /etc/rsyslog.d een extra bestand '''openldap.conf''' geplaatst worden.
<pre>
local4.* -/var/log/openldap.log
</pre>
Tevens willen we logrotate op dit bestand. Plaats in /etc/logrotate.d het bestand '''openldap''' met de volgende inhoud
<pre>
/var/log/openldap.log
{
rotate 4
weekly
missingok
notifempty
compress
delaycompress
sharedscripts
postrotate
reload rsyslog >/dev/null 2>&1 || true
endscript
}
</pre>

===modify-hdb.ldif===
Hier worden de wijzigingen op de backend db gemaakt. Er worden een aantal attributes ge-indexeerd en de search SizeLimit wordt op '''unlimited''' gezet. De waarden die in DB_CONFIG moeten komen (Berkely DB parameters) staan ook in dit bestand. Deze versie is outdated. De ACL regels zijn drastisch gewijzigd. Raadpleeg altijd de laatste versie op de server zelf.
<pre>
#######################################
## modify-hdb.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcAccess
#
# hobbynetlogin heeft lees rechten op ou=users
olcAccess: to attrs=@posixAccount,@posixGroup,@shadowAccount,@hostObject
by dn="cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl" read
by * break
#
# drupal/test moet hccOptIn kunnen schrijven vanaf de
# profiel pagina. Overige klanten kunnen hccOptin
# alleen lezen. self mag schrijven
olcAccess: to attrs=hccOptIn
by self write
by dn="cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl" write
by * break
#
# anonieme klanten moeten kunnen inloggen
# en mogen hun eigen password wijzigen
olcAccess: to attrs=userPassword,shadowLastChange
by self write
by anonymous auth
by * break
#
# user mag enkele eigen attr wijzigen
olcAccess: to attrs=hccLogin,hccPseudoniem,hccKaderPassword
by self write
by * break
#
# beheerders hebben schrijfrechten op alles (updateDN)
# klanten hebben alleen lees rechten op alles (readDN)
# self mag lezen
olcAccess: to *
by self read
by dn="cn=xml-hoge-rechten,ou=applicaties,dc=hcc,dc=nl" write
by dn="cn=xml-lage-rechten,ou=applicaties,dc=hcc,dc=nl" read
by dn.one="ou=beheer,dc=hcc,dc=nl" write
by dn.one="ou=klanten,dc=hcc,dc=nl" read
by * break
#
# helpdesk heeft leesrechten op ou=leden
olcAccess: to attrs=@hccOrgPerson,@hccKaderFunctie
by dn.one="ou=helpdesk,dc=hcc,dc=nl" read
by * break
#
# partners mogen een paar attrs lezen
olcAccess: to attrs=hccLidNummer,hccPostcode,hccPostcodeZoekveld
by dn.one="ou=partners,dc=hcc,dc=nl" read
#
# iedereen moet (pseudo attr) entry en objectClass kunnen lezen
olcAccess: to attrs=entry,objectClass
by * read
#
# vangnet: blokkeer alle toegang tot de overige attrs.
olcAccess: to *
by * none
-
replace: olcDbDirectory
olcDbDirectory: /var/lib/ldap
-
replace: olcSizeLimit
olcSizeLimit: 100000
-
replace: olcDbCachesize
olcDbCachesize: 200000
-
replace: olcDbCheckpoint
olcDbCheckpoint: 1024 5
-
replace: olcDbConfig
olcDbConfig: set_cachesize 0 536870912 0
olcDbConfig: set_lk_max_objects 1000
olcDbConfig: set_lk_max_locks 1000
olcDbConfig: set_lk_max_lockers 1000
olcDbConfig: set_flags DB_LOG_AUTOREMOVE
olcDbConfig: set_flags DB_TXN_NOSYNC
-
replace: olcDbIDLcacheSize
olcDbIDLcacheSize: 600000
</pre>

===modify_index.ldif===
Een kale configuratie is heel snel voor wat betreft het opnieuw vullen met gegevens. Bij het aanmaken van een verse LDAP database worden er dan ook zo min mogelijk indexen aangemaakt. 
Zodra de inhoud is ingelezen kunnen de 'echte' indexen aangemaakt worden.
<pre>
#######################################
## modify-index.ldif ##
#######################################
dn: olcDatabase={1}hdb,cn=config
replace: olcDbIndex
olcDbIndex: default pres,eq
olcDbIndex: objectClass,entryUUID,entryCSN eq
olcDbIndex: hccLidNummer,hccLogin,hccForumLogin eq
olcDbIndex: uid,uidNumber,gidNumber,memberUid,member eq
olcDbIndex: cn,host,hccPseudoniem,hccOptin,hccLocatie eq
olcDbIndex: sn,hccPostcodeZoekveld,hccIg,hccRegio eq,subfinal
olcDbIndex: hccRol,hccBezoek eq,pres,subfinal
olcDbIndex: hccBulletins pres
olcDbIndex: aboNummer eq
olcDbIndex: aboPostcodeZoekveld eq,subfinal
olcDbIndex: mail,mailHccnet,hccKaderMail pres,eq
olcDbIndex: hccProfiel pres
</pre>

===ppolicy overlay===
* vanuit LDAP de minimale lengte van een wachtwoord afdwingen
* in LDAP SSHA versleuteling activeren 
(olcPPolicyHashCleartext: TRUE)
<pre>
#######################################
## add-ppolicy.ldif ##
#######################################
dn: cn=module, cn=config
cn: module
objectClass: olcModuleList
objectClass: top
olcModuleLoad: ppolicy
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=ppolicy,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcPPolicyConfig
olcOverlay: ppolicy
olcPPolicyDefault: cn=default,ou=policies,dc=hcc,dc=nl
olcPPolicyUseLockout: TRUE
olcPPolicyHashCleartext: TRUE
</pre>
The default ppolicy looks like this:
<pre>
dn: cn=default,ou=policies,dc=hcc,dc=nl
objectClass: pwdPolicy
objectClass: device
cn: default
pwdCheckQuality: 1
pwdMinLength: 8
pwdAttribute: 2.5.4.35
pwdAllowUserChange: TRUE
</pre>

===Syncrepl overlay===
Om twee servers met elkaar in sync te houden is nog wat aanvullende configuratie nodig. In onze situatie zal altijd maar één server bevraagd worden; bij een failover van de loadbancer zal dus de andere server gebruikt worden. Bij het teruggaan naar server 1 zal de directory bijgewerkt worden. Wij gebruiken de z.g. Mirror Mode. Zie de [http://www.openldap.org/doc/admin/ LDAP Admin Guide]. '''Mirror configuratie is specifiek per server!'''
<pre>
#######################################
## add-syncrepl.tmpl ##
#######################################
dn: cn=config
changetype: modify
replace: olcServerID
olcServerID: @SID@

dn: cn=module{0},cn=config
changetype: modify
add: olcModuleLoad
olcModuleLoad: syncprov

dn: olcOverlay=syncprov,olcDatabase={1}hdb,cn=config
changetype: add
objectClass: olcOverlayConfig
objectClass: olcSyncProvConfig
olcOverlay: syncprov
olcSpCheckpoint: 100 5
olcSpSessionlog: 100

dn: olcDatabase={1}hdb,cn=config
changetype: modify
add: olcSyncRepl
olcSyncRepl: rid=@RID@
provider=ldap://@PROVIDER@
binddn="cn=admin,dc=hcc,dc=nl" bindmethod=simple credentials="@PASSWORD@"
searchbase="dc=hcc,dc=nl"
type=refreshAndPersist
interval=00:00:00:10
retry="5 5 300 5"
timeout=1
starttls=yes
-
add: olcMirrorMode
olcMirrorMode: TRUE
</pre>
De andere server krijgt ServerID 2 en de provider is het IP adres van de andere server.

===Unique overlay===
Deze overlay dient er voor te zorgen dat o.a het attribuut hccLogin een unieke waarde bevat.
<pre>
#######################################
## add-unique.ldif ##
#######################################
dn: cn=module,cn=config
cn: module
objectclass: olcModuleList
objectclass: top
olcmoduleload: unique
olcmodulepath: /usr/lib/ldap

dn: olcOverlay=unique,olcDatabase={1}hdb,cn=config
objectClass: olcOverlayConfig
objectClass: olcUniqueConfig
olcOverlay: unique
olcUniqueAttribute: uid uidNumber hccLogin
</pre>

==SSL/TLS beveiliging==
Gebruik de juiste .pem bestanden in /etc/ssl/certs en /etc/ssl/private.

We maken gebruik van een RapidSSL certificaat. Als dit niet standaard in Ubuntu bekend is, zet dan eerst GeoTrust_RapidSSL_-_ca-bundle.pem in de map /etc/ssl/certs neer. Voer nu een '''c_rehash .''' uit in /etc/ssl/certs om de cache te updaten (omdat GeoTrust_RapidSSL_-_ca-bundle.pem nieuw werd toegevoegd).

De ownership is belangrijk. Hiertoe wordt de groep "openldap" toegevoegd aan de groep ssl-cert.
adduser openldap ssl-cert

Als dit fout gaat, doe dan eerst:
apt-get install ssl-cert

Zet het certificaat en de private key in de juiste groep:
chgrp ssl-cert /etc/ssl/private/hobby.nl.*
chmod 440 /etc/ssl/private/hobby.nl.key

Het resultaat is dan als volgt:
root@hcc-ldap-lb1:~# ls -l /etc/ssl/private/hcc*
-rw-r--r-- 1 root ssl-cert 1724 Nov 22 20:47 hobby.nl.crt
-r--r----- 1 root ssl-cert 1679 Nov 22 20:25 hobby.nl.key

root@hcc-ldap-lb1:~# grep openldap /etc/group
ssl-cert:x:114:openldap
openldap:x:118:

Per september 2017 staan de certificaten in /disk/site/etc/ssl/hobby.nl, net als op alle andere servers. Omdat apparmor actief is moet deze directory worden toegevoegd aan /etc/apparmor.d/local/usr.sbin.slapd. Die file ziet er dan als volgt uit:
<pre>
# Site-specific additions and overrides for usr.sbin.slapd.
# For more details, please see /etc/apparmor.d/local/README.
#include <abstractions/ssl_certs>
/disk/site/etc/ssl/hobby.nl/ r,
/disk/site/etc/ssl/hobby.nl/* r,
</pre>
Als Openldap ook op poort 636 benaderd wordt (naast TLS op 389), moet in /etc/default/slapd ldaps:/// opgenomen worden bij de SLAPD_SERVICES. Netstat -a dient dan 636 te laten zien voor zowel IPv4 als IPv6.

Om de cn=config te zien kan je het volgende commando gebruiken:
<pre>
ldapsearch -Y EXTERNAL -H ldapi:/// -b cn=config

of, wat botter maar korter:
cat /etc/ldap/slapd.d/cn\=config.ldif
</pre>

==Backup, initialize, restore==
Om het hele skelet van ldap in één keer te herstellen dient '''init_ldap''' gebruikt te worden. Als argument '''moet''' het admin beheer wachtwoord mee gegeven worden.

===lokaal===
Backups kunnen gemaakt worden terwijl slapd draait maar geadviseerd wordt slapd te stoppen. Voor dumpen moet '''slapcat''' gebruikt worden. Backups kunnen gemaakt worden per database of een filter daarop, naar een ldif bestand.
slapcat -l hcc-dump.ldif -b "dc=hcc,dc=nl"
Dit maakt een dump van alles onder '''dc=hcc,dc=nl''' naar het bestand hcc-dump.ldif. Ook is het mogelijk het database nummer te gebruiken, config is altijd nummer 0, hdb is gewoonlijk 1.

Het '''dump_ldap''' script dumpt alle ou's in aparte .ldif bestanden; het omgekeerde doet '''restore_ldap'''.
Terug inlezen kan alleen in een lege directory, dus direct nadat '''init_ldap''' is gedaan. Gebruik voor het terugplaatsen '''slapadd'''. Aan te bevelen is '''-c''' mee te geven zodat ondanks fouten doorgegaan wordt.

Voor slapadd '''moet''' slapd gestopt zijn. Denk er om alvorens te slapd starten het ownership van de bestanden in /var/lib/ldap recht te zetten! (dit lijkt niet meer nodig te zijn vbs20130526)
/etc/init.d/slapd stop
slapadd -l hcc-dump.ldif -w -c >errors.txt
chown openldap:openldap /var/lib/ldap/*
/etc/init.d/slapd start

===remote===
Er wordt dagelijks een encrypted remote backup gemaakt naar backup2bit. Zie voor meer info [[Encrypted_backup]]. Dit script maakt gebruik van unieke gpg keys. Op elke server is dus een eigen versie nodig van '''backup-encrypted'''. 
Recente lokale backups zijn te vinden in '''/usr/local/hobbynet/tmp'''.

==crontab==
# script dat updates ophaalt (maar niet installeert), zodat nagios ze ook detecteert
0 9 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null
0 18 * * * /usr/local/hobbynet/bin/upd_srv >/dev/null

==LDAP Clients==
Er zijn meerdere LDAP clients. De meest populaire zijn Apache Directory Studio ("ADS") en phpLdapAdmin ("PLA"). 
De eerste is veel uitgbreider maar vereist een Java Runtime Environment ("JRE"). Onder Windows is dat JRE8. 
PhpLdapAdmin draait onder apache. Beide clients hebben wat configuratie nodig; Bij ADS gaat alles stapsgewijs in de GUI. Voor PLA moet /etc/phpldapadmin/config.php aangepast worden.

Binnen Hobbynet wordt uitsluitend gebruik gemaakt van ADS.

===StartTLS===
Aanbevolen wordt StartTLS op poort 389 te gebruiken. Alternatief is LDAPS op poort 636 maar dat is depreciated.

Voor beide clients is het belangrijk dat de root certificaten gevonden kunnen worden. Als Apache al een server cert kent zou PLA geen probleem mogen zijn. ADS maakt deel uit van de JRE. JRE moet dus de root certificaten kunnen vinden.

===ADS onder Windows===
Onder Windows moet met '''keytool.exe''' gewerkt worden. De uitleg heb ik van [http://www.talkingtree.com/blog/index.cfm?mode=entry&entry=25AA75A4-45A6-2844-7CA3EECD842DB576 hier]. Het komt erop neer dat de .pem of .der certificaten van CAcert in de keystore gezet worden. Kopieer deze certificaat bestanden in C:\Program Files\Java\jre6\lib\security (jre6 kan ondertussen jre7 zijn in Vista of W7). Doe dan in een terminal window:
<pre>
Haal de benodigde bestanden op (op een Linux systeem):
wget http://www.cacert.org/certs/root.der -O root.der
wget http://www.cacert.org/certs/class3.der -O class3.der
copieer de bestanden naar de Windows omgeving in C:\Program Files (x86)\Java\jre6\lib\security.

Open een commandwindow:
cd C:\Program Files (x86)\Java\jre6\lib\security
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass1 -file root.der
..\..\bin\keytool -import -trustcacerts -keystore cacerts -storepass changeit -noprompt -alias cacertclass3 -file class3.der
</pre>
De Windows JRE is ook te managen via het Java applet in het configuratiescherm. Toevoegen van root certificaten lijkt niet mogelijk voor system; wel voor user. Niet verder naar gezocht.

===ADS onder Linux===
Apache Directory Studio laat zich uit een tarball installeren. Dit kan geheel in userspace; er is geen make install o.i.d. nodig. ADS loopt vanuit de lokatie waar het uitgepakt is.

===ADS gebruik===
ADS kan erg handig zijn voor het snel dumpen van hele ou's in .ldif formaat. Zo'n dump kan direct op een andere server worden ingelezen.

===PhpLdapAdmin onder Linux===
Voor ldap clients (phpldapadmin) dient de client configuratie goed te zijn. Deze bevindt zich in /etc/ldap/ldap.conf. Het is voldoende als de directory met de root certificaten bekend is. Deze client configuratie is meer php-ldap gebonden dan alleen voor PLA. Ook de Drupal LDAPauth module werkt met ditzelfde beatand. Zie ook de [http://phpldapadmin.sourceforge.net/wiki/index.php/Server:server:tls phpldapadmin wiki].
<pre>
#
# LDAP Defaults
#

# See ldap.conf(5) for details
# This file should be world readable but not world writable.

#BASE dc=example,dc=com
#URI ldap://ldap.example.com ldap://ldap-master.example.com:666

#SIZELIMIT 12
#TIMELIMIT 15
#DEREF never
TLS_CACERT /etc/ssl/certs/CAcert_org.pem
TLS_CERT /etc/ssl/private/hobby.nl.crt
TLS_KEY /etc/ssl/private/hobby.nl.key
TLS_REQCERT allow
#TLS_REQCERT never
</pre>
Denk er wel aan na wijzigingen Apache te herstarten.
===PAM en NSS via LDAP===
Het inloggen van gebruikers kan ook via een LDAP server en client geschieden. Hiervoor dienen enkele pakketten geïnstalleerd en geconfigureerd te worden. Er zijn wijzigingen nodig in /etc/nsswitch.conf en de /etc/pam.d/common-* bestanden. Beide zijn via dedicated tools aan te passen.

Installeer '''libnss-ldapd''' om de benodigde libraries te verkrijgen. Apt-get zal tevens '''libpam-ldapd''', '''nslcd''' en '''nscd''' binnen brengen.
<pre>
apt-get install libnss-ldapd auth-client-config ldap-utils
The following extra packages will be installed:
libpam-ldapd nscd nslcd
</pre>
Libnss-ldapd is een doorontwikkling van libnss-ldap en bevat meerdere verbeteringen. Zie: [http://arthurdejong.org/nss-pam-ldapd/ deze site] van de ontwikkelaar. Bij de installatie wordt een user '''nslcd''' aangemaakt; denk erom die in de .tmpl bestanden te zetten!

nsswitch.conf laat zich configureren via '''auth-client-config''' maar lac_ldap is alleen aanwezig als '''ldap-auth-config''' ook is geinstalleerd. Zo niet gebruik dan de tweede regel:
<pre>
auth-client-config -t nss -p lac_ldap
auth-client-config -t nss -p ldap_example
</pre>
Het resultaat is dat nsswitch.conf zowel in files (/etc/passwd etc.) zoekt als in ldap.
<pre>
# /etc/nsswitch.conf
#
# Example configuration of GNU Name Service Switch functionality.
# If you have the `glibc-doc-reference' and `info' packages installed, try:
# `info libc "Name Service Switch"' for information about this file.

# pre_auth-client-config # passwd: compat
passwd: files ldap
# pre_auth-client-config # group: compat
group: files ldap
# pre_auth-client-config # shadow: compat
shadow: files ldap

hosts: files dns
networks: files

protocols: db files
services: db files
ethers: db files
rpc: db files

# pre_auth-client-config # netgroup: nis
netgroup: nis
</pre>
Het aanpassen van de PAM bestanden gaat sinds enige releases met '''pam-auth-update'''. Kies in het menu voor zowel unix als ldap. Default wordt nu ldap authenticatie gebruikt voor uid >= 1000. Bij Hobbynet willen we vanaf 300 ldap gebruiken. Door een licht gemodificeerde versie van /usr/share/pam-configs/ldap te maken (ldap-hobbynet), kan ook voor de hobbynet instelling gekozen worden. Dit is de ldap-hobbynet versie:
<pre>
Name: LDAP Authentication (uid>300)
Default: yes
Priority: 128
Auth-Type: Primary
Auth-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Auth:
[success=end default=ignore] pam_ldap.so minimum_uid=300 use_first_pass
Account-Type: Additional
Account:
[success=ok new_authtok_reqd=done ignore=ignore user_unknown=ignore authinfo_unavail=ignore default=bad] pam_ldap.so minimum_uid=300
Password-Type: Primary
Password-Initial:
[success=end default=ignore] pam_ldap.so minimum_uid=300
Password:
[success=end default=ignore] pam_ldap.so minimum_uid=300 try_first_pass
Session-Type: Additional
Session:
[success=ok default=ignore] pam_ldap.so minimum_uid=300
</pre>

Dit is in een standaard opzet van LDAP voldoende om zowel lokale gebruikers als gebruikers opgeslagen in LDAP, te laten inloggen en hun password te laten wijzigen. In de Hobbynet setup moet er echter nog meer gebeuren in de ACL's van de LDAP server configuratie. Omdat Hobbynet de laatste ACL regel heeft gewijzigd in een '''deny-all''', is er een helper of proxy account nodig dat read access heeft of een aantal cruciale velden in de posixAccount objectClass. Zie verder de lsiting van nslcd.conf.

Libnss-ldapd en libpam-ldapd hebben een gezamelijke daemon '''nslcd''' die z'n configuratie uit '''/etc/nslcd.conf''' haalt. Hierin is ook een voorziening voor het helper account. Aan het eind vande '''nslcd.conf''' staat de voorziening voor host-based login. Als het attribute '''host''' de fqdn of alleen de host naam bevat, bepaald dat of inloggen op die host mogelijk is. '''*''' staat inloggen op alle hosts toe.

Eventueel kan het daemon proces voor debugging doeleinden ook als command ('''nslcd -d''') gestart worden. Om de bevragingen van de LDAP server wat te verminderen, kan '''nscd''' voor caching zorgen. Deze cache daemon heeft zijn eigen configuratie bestand: '''/etc/nslcd.conf'''. De default instellingen zijn goed; eventueel kan de logging naar een bestand gestuurd worden.

Verbinding met de LDAP server kan met StartTLS beveiligd worden. Hier de inhoud van nslcd.conf:
<pre>
# /etc/nslcd.conf
# nslcd configuration file. See nslcd.conf(5)
# for details.

# The user and group nslcd should run as.
uid nslcd
gid nslcd

# log location and level
#log /var/log/nslcd.log debug

# The location at which the LDAP server(s) should be reachable.
uri ldap://ldap2-int.hobby.nl/

# The search base that will be used for all queries.
base dc=hcc,dc=nl

# Other base mappings
base group ou=groups,dc=hcc,dc=nl
base passwd ou=users,dc=hcc,dc=nl
base shadow ou=users,dc=hcc,dc=nl

# The search scope.
#scope sub

# The LDAP protocol version to use.
ldap_version 3

# The DN to bind with for normal lookups.
#binddn cn=annonymous,dc=example,dc=net
#bindpw secret
binddn cn=hobbynetlogin,ou=applicaties,dc=hcc,dc=nl
bindpw xxxxxxxxxxxxxxxxx

# The DN used for password modifications by root.
#rootpwmoddn cn=admin,dc=example,dc=com

# SSL options
ssl off
ssl start_tls
#tls_reqcert never
tls_cacertfile /etc/ssl/certs/cacert.org.pem
#tls_cert /etc/ssl/private/server.crt
#tls_key /etc/ssl/private/server.key

# The minimum uid
nss_min_uid 300

pam_authz_search (&(objectClass=posixAccount)(uid=$username)(|(host=$hostname)(host=$fqdn)(host=\\*)))
</pre>

===users en groepen toevoegen===
Hiervoor moet '''ldapscripts''' zijn geïnstalleerd. Dit is het geval op de ldap-lb1 server. Dat levert de volgende extra commando's op:
<pre>
ldaprenamemachine
ldapadduser
ldapdeleteuserfromgroup
ldapfinger
ldapid
ldapgid
ldapmodifyuser
ldaprenameuser
lsldap
ldapaddusertogroup
ldapsetpasswd
ldapinit
ldapaddgroup
ldapdeletegroup
ldapmodifygroup
ldapdeletemachine
ldaprenamegroup
ldapaddmachine
ldapmodifymachine
ldapsetprimarygroup
ldapdeleteuser
</pre>
Meest gebruikt zijn '''ldapaddgroup, ldapadduser, ldapsetpasswd'''.
Er zijn manpages maar er is ook uitgebreide uitleg in de [https://help.ubuntu.com/14.04/serverguide/openldap-server.html Ubuntu server guide]. Omdat wij het automatisch maken van de home dir uit hebben staan, moet die met de hand aangemaakt worden en moet de owner goed gezet worden.

===host-based login===
Met een kleine uitbreiding in het schema van de LDAP server, kan host-based login gerealiseerd worden. Ook in de '''nslcd.conf''' is een uitbreiding nodig.

In de LDAP server dient de objectClass '''hostObject''' aan de entries in de ou=users toegevoegd te worden. Deze (auxilary) objectClass brengt slechts één attribute met zich mee: '''host'''. De regel in nslcd.conf checkt of één van de waarden van '''host''' gelijk is aan de naam van de server waarop ingelogd wordt. De waarde '''*''' geldt als wildcard. Zie de regel ''
'pam_authz_search'''' in '''nslcd.conf'''.

===Password aanpassen===
Via LDAP ingelogde gebruikers kunnen net als lokale gebruikers hun wachtwoord met '''passwd''' wijzigen. Wel moet aan de eisen in de LDAP ppolicy module voldaan worden.

==PHP scripting==
Initieel worden alle leden op basis van hun hcc lidnummer ingelezen. Zodra de profielwizard doorlopen is, zal het lidnummer vervangen moeten worden door de gebruikersnaam. Er zijn verschillende php-scripts gemaakt, o.a. om snel alle kaderrollen te verwijderen. Php-scripts staan in de '''/usr/local/hobbynet/bin''' directory.
Voor de php-scripting zijn enkele php5 pakketten nodig. Installeer deze met apt-get. Het gaat om:
* php5-cli
* php5-ldap

== Apache authenticatie via LDAP ==
In plaats van .htpassword authenticatie, kan ook LDAP gebruikt worden. Activeer daartoe de Apache module
'authnz_ldap'.
a2enmod authnz_ldap
Denk er om dat dit in een loadbalanced situatie op beide servers gedaan dient te worden!

=== Voorbeeld van een .htaccess configuratiebestand ===
(alleen als voorbeeld, niet zo gebruiken!)

Dit is het configuratiebestand dat op de PC30 beheerpagina op de testserver actief is. Deze configuratie staat zowel de 'nieuwe' (LDAP) manier van aanloggen toe, als ook de 'oude' (.htpassword bestand) manier.

Er is in de LDAP definitie een speciale regel ingebouwd, zodat alleen personen die in de XB_lijst voorkomen toegang tot deze pagina kunnen krijgen.

<pre>
AuthName "www-test pc30 login (gebruik uw hcc-lidnummer/hcc-code of uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider file ldap
AuthLDAPURL ldaps://ldap2-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin?one?(hccRol=*)
AuthLDAPCompareDNOnServer on
AuthLDAPBindDN cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl
AuthLDAPBindPassword xxxxxxxxxxxxxxxxxxxxxxxxxx
AuthzLDAPAuthoritative off
Order deny,allow
Deny from all
AuthUserFile /usr/local/hobbynet/lib/www_homes
require valid-user
</pre>

=== Voorbeeld van een LDAP configuratie in de Apache config ===
(alleen als voorbeeld, niet zo gebruiken!) 

Omdat er voor LDAP een wachtwoord noodzakelijk is, dient er geen .htaccess gebruikt te worden, maar dient dit rechtstreeks in de Apache configuratie ingeklopt te worden.

Bovenstaand voorbeeld is speciaal bedoeld voor de map '/pc30'. Het enige dat speciale dat daarvoor gedaan moet worden, is in de eerste regel ('<Location>' de naam van die map neer te zetten.
<pre>
<Location /pc30>
AuthName "www-test pc30 login (gebruik uw hcc-lidnummer/hcc-code of uw hcc.nl gebruikersnaam/wachtwoord)"
AuthType Basic
AuthBasicProvider file ldap
AuthLDAPURL ldaps://ldap2-int.hobby.nl/ou=leden,dc=hcc,dc=nl?hccLogin?one?(hccRol=*)
AuthLDAPCompareDNOnServer on
AuthLDAPBindDN cn=drupal-hcc-nl,ou=klanten,dc=hcc,dc=nl
AuthLDAPBindPassword xxxxxxxxxxxxxxxxxxxxxxxxxx
AuthzLDAPAuthoritative off
Order deny,allow
Deny from all
AuthUserFile /usr/local/hobbynet/lib/www_homes
require valid-user
</Location>
</pre>

=== Hoe kan LDAP veilig gebruikt worden vanuit Apache===
Zet een script neer in de gebruikersomgeving, en gebruik mod_authz_external. Doe de controle vervolgens via de XMPRPC server. 

'''Zie [[Kadernet]] voor een voorbeeld.'''

== Waar is welke LDAP gebruiker ingeregeld ==
Deze pagina is out-of-date. PC30 heeft nu meer accounts.

{| class="wikitable"

|-
! gebruikersnaam
! welke LDAP server
! servernaam
! programma
! bestand

|- style="background:yellow; color:black"
| colspan="5" | OU=klanten

|-
| cn=drupal-hcc-nl
| ldap2
| www-test-lb* www-beta-lb*
| apache
| Drupal configuratie (t.b.v. LDAP authenticatie module)

|-
| cn=drupal-hcc-nl
| ldap2
| www-test-lb* www-beta-lb*
| apache
| site-config www-test en www-test-ssl (t.b.v. pc30 beheerpagina)

|-
| cn=drupal-hcc-nl
| hcc-ldap-lb* (productie)
| hcc-ldap
| xmlrpc server
| (t.b.v. minimale rechten bij de LDAP server) /disk/site/hobby.nl/xml-hcc-ldap/www/xml/xml-server.php

|-
| cn=drupal-hcc-nl
| ldap2
| ldap2
| xmlrpc server
| (t.b.v. minimale rechten bij de LDAP server) /disk/site/hobby.nl/xml-ldap2/www/xml/xml-server.php

|-
| cn=drupal-hcc-nl
| hcc-ldap-lb2 (productie)
| php-lb*
| apache
| gamesbestuur wiki config

|-
| cn=forum-hcc-nl
| ldap2
| php-lb* ?
|
|

|-
| cn=groepen-hcc-nl
| ldap2
| php-joomla-lb* ?
|
| joomla 2.5 test site

|-
| cn=partner-hcc-nl
| ldap2
| www-test-lb* www-beta-lb*
| test script
| (t.b.v. partner-koppeling van de xmlrpc server) ~hans/partner-test/test_xml.php

|-
| cn=webapps
| hcc-ldap-lb2
| www-hobby-nl-lb2 (productie)
| apache
| (t.b.v. Ledenraad en bijeenkomsten module op de kadersite) /disk/site/hcc.nl/kadernet/config-ldap.php

|-
| colspan="5"|  

|- style="background:yellow; color:black"
| colspan="5" | OU=beheer

|-
| cn=xml
| hcc-ldap-lb* (productie)
| hcc-ldap
| xmlrpc server
| (t.b.v. maximale rechten bij de LDAP server) /disk/site/hobby.nl/xml-hcc-ldap/www/xml/xml-server.php

|-
| cn=xml
| ldap2
| ldap2
| xmlrpc server
| (t.b.v. maximale rechten bij de LDAP server) /disk/site/hobby.nl/xml-ldap2/www/xml/xml-server.php

|-
| colspan="5"|  

|- style="background:yellow; color:black"
| colspan="5" | OU=helpdesk

|-
| cn=pc30-helpdesk
| ldap2
| www-test-lb* www-beta-lb*
| apache
| t.b.v. pc30 beheerpagina

|-
| cn=pc30-testuser
| ldap2
| ''not in use''
|
|

|-
|  
|
|
|

|-
|}

== Externe toegang ==
Voor de nieuwe leden administratie van Cherry-T die bij een externe hosting partij (Tosch) draait, is het nodig via SFTP bestanden te kunnen uploaden en downloaden.

Ook HTTPS is toegestaan (om XML-RPC aanroepen uit te kunnen voeren).

Hiertoe zijn een paar gaten in de firewall op ldap2, ldap-lb1 en ldap-lb1 gemaakt:
<pre>

# HTTPS

# Allow incoming traffic from the HCC server at Tosch
$IPTABLES -A INPUT -p tcp -s 87.195.117.142 --dport 443 -m conntrack --ctstate NEW -j ACCEPT

# FTPS

# Allow FTPS access to 87.195.117.143 (Apps.HCC.local, HCC server at Tosch)
$IPTABLES -A OUTPUT -p tcp -d 87.195.117.143 --dport 990 -j ACCEPT
$IPTABLES -A OUTPUT -p tcp -d 87.195.117.143 --dport 5000:6000 -j ACCEPT
</pre>

== TODO lijst ==
''Dit is een lijst in wording, graag aanvullen''
* 'dun' loadbalancer script maken om te controleren dat LDAP echt luistert

Hobbynet Admin Wiki - User contributions [en]

LDAP