Dir ist ein kleiner semantischer Fehler bei den Definitionen der Seitenlängen unterlaufen.
Die Seite a wird durch die Punkte B und C gebildet und nicht durch A und C, wie bei dir. Ersetze
% Seitenlängen
\pgfmathsetmacro{\a}{sqrt((\xA - \xC)^2 + (\yA - \yC)^2)}
\pgfmathsetmacro{\b}{sqrt((\xB - \xC)^2 + (\yB - \yC)^2)}
\pgfmathsetmacro{\c}{sqrt((\xA - \xB)^2 + (\yA - \yB)^2)}
durch
% Seitenlängen
\pgfmathsetmacro{\b}{sqrt((\xA - \xC)^2 + (\yA - \yC)^2)}
\pgfmathsetmacro{\a}{sqrt((\xB - \xC)^2 + (\yB - \yC)^2)}
\pgfmathsetmacro{\c}{sqrt((\xA - \xB)^2 + (\yA - \yB)^2)}
und es funktioniert.
Als *Alternative* mit tkz-euclide
\documentclass[border=5pt, varwidth]{standalone}
\usepackage[utf8]{inputenc}
\usepackage[ngerman]{babel}
\usepackage[T1]{fontenc}
\usepackage{amsmath,amsfonts,amssymb}
\usepackage{tkz-euclide}
\usetkzobj{all}
\begin{document}
\begin{tikzpicture}[scale=1]
% Koordinaten der Eckpunkte
\tkzDefPoint(0,0){A}
\tkzDefPoint(5,0){B}
\tkzDefPoint(3,2){C}
\tkzDrawPoints(A,B,C)
\tkzDrawSegments(A,B B,C C,A)
% Inkreis
% Koordinate des Inkreismittelpunktes
\tkzDefCircle[in](A,B,C) \tkzGetPoint{W}
% Inkreisradius
\tkzGetLength{rIN}
% Inkreis zeichnen
\tkzDrawCircle[R,blue](W,\rIN pt)
% Winkelhalbierende
\tkzDrawSegments(A,W B,W C,W)
\end{tikzpicture}
\end{document}
Greets
Marcel
