Das ist ein typischer Rekursionsfehler. TeX ist eine Makrosprache, das heißt, dass bei der Expansion einer *Anweisung* dessen Definition eingesetzt und dann expandiert wird. Nach der Expansion von `\%` zu `\textsf{\%}` in Deinem Beispiel würde dann erneut `\%` expandiert und zwar mit der Definition, die es zum Zeitpunkt der Expansion hat, also wieder `\textsf{\%}`. Das `\%` darin würde erneut mit der zu diesem Zeitpunkt gültigen Definition expandiert und immer so weiter. Das führt theoretisch zu einer unendlichen Rekursion, die TeX jedoch nach einiger Zeit erkennt und dann mit Fehlermeldung abbricht. Normalerweise müsste man nun zunächst einem Hilfsmakro die ursprüngliche Bedeutung von `\%` zuweisen, um dieses Hilfsmakros in der neuen Definition zu verwenden. Da es ein solches Makro im Fall von `\%` aber bereits gibt, ist die Lösung einfach:
\documentclass[border=5pt, varwidth]{standalone}
%\documentclass[ngerman]{scrartcl}
\usepackage[ngerman]{babel}
\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage{amsmath, amsfonts, amssymb, relsize}
\renewcommand{\%}{\textsf{\csname @percentchar\endcsname}}
\begin{document}
$3\%$
\end{document}
Ohne das Wissen, um das LaTeX-interne `\@percentchar` oder wenn nicht sicher ist, dass `\%` dem entspricht, könnte man beispielsweise
\documentclass[border=5pt, varwidth]{standalone}
%\documentclass[ngerman]{scrartcl}
\usepackage[ngerman]{babel}
\usepackage[T1]{fontenc}
\usepackage[utf8]{inputenc}
\usepackage{amsmath, amsfonts, amssymb, relsize}
\newcommand*{\percent}{}% Hilfsmakro reservieren
\let\percent\%% Hilfsmakro die ursprüngliche Bedeutung von \% zuweisen
\renewcommand{\%}{\textsf{\percent}}% \% unter Verwendung des Hilfsmakros umdefinieren
\begin{document}
$3\%$
\end{document}
verwenden.
Für die Änderung echter Makros (`\%` aus dem LaTeX-Kern ist tatsächlich ein Character-Token und kein echtes Makro, ein solches wird es erst durch die Umdefinierung) sei hingegen auf Pakete wie [`xpatch`](http://www.ctan.org/pkg/xpatch) hingewiesen. Damit ist ein Hilfsmakro oft überflüssig.