Ich bin leider Das Paket `fontspec` ordnet einer Reihe von Symbolen im mathmode die Standard "Computer Modern" Schriftart zu, um zu verhindern, dass diese Symbole eventuell nicht mit den Interna von `fontspec` vertraut, aber das Paket ändert die Zuordnung der Symbole im mathmode, weshalb dargestellt werden können wenn man die Serifenschrift ändert. Daher können die Klammern (das Plus übrigens auch) nicht durch `newtxmath` ersetzt werden können. werden. Man hat die Möglichkeit ganz auf `fontspec`zu verzichten, was unter LuaLaTeX ohne weiteres möglich ist (mit Verzicht auf UTF-8 und nicht unter XeLaTeX)
\documentclass{article}
\usepackage[nofontspec]{libertine}
\usepackage[libertine,liby]{newtxmath}
\begin{document}
abcdefghijklmnopqrstuvwxyz\par
$abcdefghijklmnopqrstuvwxyz$\par
$a\cdot(b+c)$
\end{document}
oder man verbietet `fontspec` am mathmode herumzubasteln
\documentclass{article}
\usepackage[no-math]{fontspec}
\usepackage{libertine}
\usepackage[libertine,liby]{newtxmath}
\begin{document}
abcdefghijklmnopqrstuvwxyz\par
$abcdefghijklmnopqrstuvwxyz$\par
$a\cdot(b+c)$
\end{document}
> ![alt text][1]
[1]: http://texwelt.de/wissen/upfiles/v_44.png