Dein Beispiel ist nicht ganz einfach -- sieht im Original aber auch nicht besonders gut aus. Das liegt, wie ich an @esdd's Antwort sehe, an der Option `level distance`. Du musst stattdessen `grow right=2cm` nehmen.
Du kannst auch die `\graph`s mit der `node`- und `egde`-Syntax schreiben.
\documentclass[tikz]{standalone}
\usepackage{polyglossia}
\setdefaultlanguage{german}
\usepackage{tikz}
\usetikzlibrary{graphs, graphdrawing}
\usegdlibrary{trees}
\begin{document}
\begin{tikzpicture}[tree layout, grow=right, level distance=2cm]
\begin{scope}[tree layout, grow=down, level distance=15mm]
\node (test 1) {Test 1};
\node (test 2) {Test 2};
\draw (test 1) edge [-!-] (test 2); % Zieht eine unsichtbare Verbindungslinie
\end{scope}
\node (test) {Test};
\draw (test 1) edge [->] node [auto] {x} (test)
(test 2) edge [->] node [auto] {x} (test);
\end{tikzpicture}
\end{document}