Das Problem ist schlicht, dass es keine `tikz` Option `rounded` gibt. Ich vermute, Du meinst den Stil [`rounded corners`](http://mirrors.ctan.org/graphics/pgf/base/doc/pgfmanual.pdf#pgf.rounded%3Acorners):
\documentclass{article}
\usepackage{tikz}
\usetikzlibrary{shapes,arrows}
\usepackage[shell,tikz]{dot2texi}
\usepackage{graphicx}
\begin{document}
\begin{dot2tex}[dot]
digraph G {
node [shape="box",style="rounded corners"];
a_1 -> a_2 -> a_3 -> a_4 -> a_1;
}
\end{dot2tex}
\end{document}
![Graph][1]
Ich vermute stark, dass außerdem Option [`mathmode`](http://mirrors.ctan.org/macros/latex/contrib/dot2texi/dot2texi.pdf#page.5) für die Umgebung gewünscht ist:
\documentclass{article}
\usepackage{tikz}
\usetikzlibrary{shapes,arrows}
\usepackage[shell,tikz]{dot2texi}
\usepackage{graphicx}
\begin{document}
\begin{dot2tex}[dot,mathmode]
digraph G {
node [shape="box",style="rounded corners"];
a_1 -> a_2 -> a_3 -> a_4 -> a_1;
}
\end{dot2tex}
\end{document}
![mit mathmode][2]
Wenn Du unbedingt einen Stil `rounded` benötigst, kannst Du den quasi als Alias für `rounded corners` definieren:
\documentclass{article}
\usepackage{tikz}
\usetikzlibrary{shapes,arrows}
\usepackage[shell,tikz]{dot2texi}
\usepackage{graphicx}
\tikzset{rounded/.style={rounded corners}}
\begin{document}
\begin{dot2tex}[dot,mathmode]
digraph G {
node [shape="box",style="rounded"];
a_1 -> a_2 -> a_3 -> a_4 -> a_1;
}
\end{dot2tex}
\end{document}
Ergebnis ist dabei dasselbe wie zuvor. Dabei kannst Du dann wahlweise auch gleich die Stärke der Rundung ändern, beispielsweise:
\tikzset{rounded/.style={rounded corners=1pt}}
[1]: http://texwelt.de/wissen/upfiles/test_20170711_093224.png
[2]: http://texwelt.de/wissen/upfiles/test_20170711_094449.pnghttp://texwelt.de/wissen/upfiles/test_20170711_094449.png