Ich bin leider Das Paket `fontspec` ordnet einer Reihe von Symbolen im mathmode die Standard "Computer Modern" Schriftart zu, um zu verhindern, dass diese Symbole eventuell nicht mit den Interna von `fontspec` vertraut, aber das Paket ändert die Zuordnung der Symbole im mathmode, weshalb dargestellt werden können wenn man die Serifenschrift ändert. Daher können die Klammern (das Plus übrigens auch) nicht durch `newtxmath` ersetzt werden können. werden. Man hat die Möglichkeit ganz auf `fontspec`zu verzichten, was unter LuaLaTeX ohne weiteres möglich ist (mit Verzicht auf UTF-8 und nicht unter XeLaTeX)
    \documentclass{article}
    \usepackage[nofontspec]{libertine}
    \usepackage[libertine,liby]{newtxmath}
    \begin{document}
    abcdefghijklmnopqrstuvwxyz\par
    $abcdefghijklmnopqrstuvwxyz$\par
    $a\cdot(b+c)$
    \end{document}
oder man verbietet `fontspec` am mathmode herumzubasteln
    \documentclass{article}
    \usepackage[no-math]{fontspec}
    \usepackage{libertine}
    \usepackage[libertine,liby]{newtxmath}
    \begin{document}
    abcdefghijklmnopqrstuvwxyz\par
    $abcdefghijklmnopqrstuvwxyz$\par
    $a\cdot(b+c)$
    \end{document}
> ![alt text][1]
  [1]: http://texwelt.de/wissen/upfiles/v_44.png