Das ist leider normal.
Angeblich hat es *nur* etwas damit zu tun, dass LuaLaTeX sehr lange braucht, um die Fontdatenbank zu lesen und die Fonts einzustellen. Nach meinen eigenen Tests, wird aber jede einzelne Seite der Dokumente langsamer aufgebaut. Ich vermute, dass es daran liegt, dass für jeden einzelnen Node mehrfach die Lua-Maschine die Kontrolle bekommt. Auch wenn das immer nur ganz kurz ist, um ggf. nur zu erkennen, dass kein Callback aufzurufen ist, dürfte es Zeit kosten. Die LuaTeX-Leute hören das nicht so gerne.
Besonders lange – der Hinweis auf über eine Minute deutet auf diesen Fall hin – dauert es, wenn die Font-Datenbank bzw. der Font-Cache neu aufgebaut werden muss. Im Terminal kann man das an der Ausgabe auch ablesen.
Angeblich ist übrigens die JIT-Version von LuaTeX schneller, obwohl die JIT-Fähigkeit bisher nicht genutzt wird. Die JIT-Version (`luajittex`) wird zumindest bei TeX-Live bisher aber nicht für LuaLaTeX verwendet. Das hat AFAIK etwas damit zu tun, dass die JIT-Version noch auf einer älteren Lua-Version basiert und deshalb nicht komplett kompatibel ist.
Du kannst also auch eher wenig tun, um das ganze zu beschleunigen.beschleunigen.
Eine Alternative zu `selnolig` könnte übrigens [`rmligs`](http://www.ctan.org/pkg/rmligs) oder [`delig`](http://www.ctan.org/pkg/delig) sein. Da diese beiden nicht auf Ebene des TeX-Prozesses arbeiten, sondern als Zusatzprogramme direkt den Quellcode verändern, funktionieren sie auch mit PDFLaTeX und XeLaTeX. Dafür benötigt das eine Perl und das andere Java.