In dem MWE werden immer noch Pakete (u.a. `amsmath`) und Bibliotheken (u.a. `arrows`) doppelt geladen. Vieles wird für das Problem auch gar nicht benötigt.
Wenn Du `compat=1.8` durch `compat=1.11` ersetzt, dann kannst Du das Koordinatensystem der Achsen in der `axis` Umgebung auch einfach zum Zeichnen verwenden. Version 1.11 ist allerdings ebenfalls schon sehr alt. Derzeit aktuell wäre Version 1.17 oder bei dem eingefrorenen TL2009 TL2019 ist es Version 1.16. Ich verwende deshalb 1.16 in dem Beispiel und lade auch nur die für das Beispiel wirklich nötigen Pakete und Bibliotheken.
\documentclass{scrbook}
\usepackage{amsmath}
\usepackage{pgfplots}% lädt auch tikz, graphicx, xcolor, ...
\pgfplotsset{compat=1.16}% mindestens 1.11 und unbedingt vor allen anderen pgfplots Einstellungen setzen
\usetikzlibrary{angles}
\begin{document}
\begin{tikzpicture}
[>=latex]% damit orange Pfeile besser sichtbar
\node[draw](axis5){Hier ist Axis5};
\begin{axis}[
scale only axis=true,
width= 12 cm ,
height= 7.5cm ,
name=axis6,
anchor=north,
below of=axis5.south,% da fehlte der .
legend pos= outer north east,
domain=0:6,
xlabel=$t$,
xmin=0.0, xmax=17,
ylabel=$y \text{ bzw. } L$,
ymin=0, ymax=13,
samples=300,
axis lines=center,
clip=false% <- damit die Zeichnung nicht an den Achsen abgeschnitten wird
]
\path[draw=blue,text=blue,auto]
(0,0)coordinate[label=left:A](A)
-- node[sloped]{b}
(10,3.75)coordinate[label=above:C](C)
-- node[sloped]{a}
(16,0)coordinate[label=above:B](B)
--node[pos=.44]{c}
cycle
;
\pic[pic text=$\alpha$,draw=orange,<->,angle eccentricity=.75, angle radius=1.5cm]{angle=B--A--C};
\pic[pic text=$\beta$,draw=orange,<->,angle eccentricity=.75, angle radius=1.5cm]{angle=C--B--A};
\pic[pic text=$\gamma$,draw=orange,<->, angle radius=1cm]{angle=A--C--B};
\end{axis}
\end{tikzpicture}
\end{document}
[![alt text][1]][1]
Falls Du wirklich `compat=1.8` verwenden willst, musst Du bei den Koordinatenangaben noch das Koordinatensystem `axis cs` vorgeben (ab Version 1.11 ist das in der `axis` Umgebung voreingestellt):
\path[draw=blue,text=blue,auto]
(axis cs:0,0)coordinate[label=left:A](A)
-- node[sloped]{b}
(axis cs:10,3.75)coordinate[label=above:C](C)
-- node[sloped]{a}
(axis cs:16,0)coordinate[label=above:B](B)
--node[pos=.44]{c}
cycle
;
Wenn Du `clip=false` nicht verwenden kannst, dann kannst Du auch nur die Koordinaten in der `axis` Umgebung festlegen und das eigentliche Zeichnen außerhalb von `axis` vornehmen:
\documentclass{scrbook}
\usepackage{amsmath}
\usepackage{pgfplots}% lädt auch tikz, graphicx, xcolor, ...
\pgfplotsset{compat=1.16}% mindestens 1.11 und unbedingt vor allen anderen pgfplots Einstellungen setzen
\usetikzlibrary{angles}
\begin{document}
\begin{tikzpicture}
[>=latex]% damit orange Pfeile besser sichtbar
\node[draw](axis5){Hier ist Axis5};
\begin{axis}[
scale only axis=true,
width= 12 cm ,
height= 7.5cm ,
name=axis6,
anchor=north,
below of=axis5.south,% da fehlte der .
legend pos= outer north east,
domain=0:6,
xlabel=$t$,
xmin=0.0, xmax=17,
ylabel=$y \text{ bzw. } L$,
ymin=0, ymax=13,
samples=300,
axis lines=center
]
\path[draw=blue,text=blue,auto]
(0,0)coordinate(A)
(10,3.75)coordinate(C)
(16,0)coordinate(B)
;
\end{axis}
\path[draw=blue,text=blue,auto]
(A)node[label=left:A]{}
-- node[sloped]{b}
(C)node[label=above:C]{}
-- node[sloped]{a}
(B)node[label=above:B]{}
--node[pos=.44]{c}
cycle
;
\pic[pic text=$\alpha$,draw=orange,<->,angle eccentricity=.75, angle radius=1.5cm]{angle=B--A--C};
\pic[pic text=$\beta$,draw=orange,<->,angle eccentricity=.75, angle radius=1.5cm]{angle=C--B--A};
\pic[pic text=$\gamma$,draw=orange,<->, angle radius=1cm]{angle=A--C--B};
\end{tikzpicture}
\end{document}
[1]: https://texwelt.de/upfiles/tw_dreieckinaxis.png