Deine Frage ist ein wenig inkonsistent. Mal ist von `\addsec` mal von `\addchap` die Rede. Da im Beispiel nur `\addchap` verwendet wurde, spare ich den Punkt `\addsec` weitgehend aus.
`\addchap`-Überschriften sind laut KOMA-Script-Anleitung nicht nummerierte Überschriften der Ebene *chapter*, für die in der Voreinstellung der Überschriftenstil `chapter` verwendet wird, wobei die Formatierung bei Überschriften mit Präfixzeile die Anweisung `\chapterlineswithprefixformat` verwendet wird. Die Unterscheidung, ob die Überschrift nummeriert ist oder nicht, kann darin über das zweite Argument der Anweisung getroffen werden. Ist dieses komplett leer, dann ist die Überschrift nicht nummeriert. Ob es sich tatsächlich um eine Überschrift der Ebene *chapter* handelt oder eine andere Überschrift im Stil `chapter` kann über das erste Argument ermittelt werden, das den Namen der Ebene enthält. Damit kann man die Linie für nicht nummerierte Überschriften einfach durch Umdefinierung von `\chapterlineswithprefixformat` und zwei Fallunterscheidungen erreichen:
\documentclass[
paper=17cm:24cm,
12pt,
chapterprefix
]{scrbook}
\usepackage[ngerman]{babel} % deutsche Sprache
\usepackage{blindtext}
\newcommand{\seplinewidth}{.5pt}
\renewcommand*\raggedchapter{\flushright}
\setkomafont{chapterprefix}{\large}
\addtokomafont{chapter}{\normalfont}
\renewcommand*{\chapterformat}{%
\MakeUppercase{\chapappifchapterprefix{\nobreakspace}}\thechapter%
\IfUsePrefixLine{%
\par\nobreak\vspace{-\parskip}\vspace{-.5\baselineskip}%
{\rule{\textwidth}{\seplinewidth}}\\[-.75\baselineskip]
}{\enskip}%
}
\RedeclareSectionCommand[beforeskip=0pt,afterskip=8\baselineskip]{chapter}
\renewcommand{\chapterlineswithprefixformat}[3]{%
\ifstr{#1}{chapter}{% \Ifstr{#1}{chapter}{% Für alle Überschriften der Ebene chapter":
\IfArgIsEmpty{#2}{% Für nicht nummerierte Überschriften:
\parbox{\dimexpr\linewidth-.5em-1pt}{\raggedchapter #3}%
\enskip
\raisebox{0pt}[0pt][0pt]{% Die Linie soll effektiv weder Höhe noch Tiefe haben.
\rule[-3.5\baselineskip]{1pt}{5\baselineskip}%
\par
}%
}{% Für nummerierte Überschriften:
#2#3% Die Standarddefinition aus der Anleitung übernehmen.
}%
}{% Für alle anderen Überschriften im Stil chapter:
#2#3% Die Standarddefinition aus der Anleitung übernehmen.
}%
}
\begin{document}
\tableofcontents % Inhaltsverzeichnisses
\addchap{Vorwort}
\blindtext[2]
\chapter{Das ist ein Kapitel}
\blindtext[2]
\end{document}
[![Das Inhaltsverzeichnis][1]][2]
[![Das Vorwort][3]][4]
[![Das erste Kapitel (unverändert)][5]][5]
Ich habe überflüssigen (weil nicht verwendeten) Code entfernt und die Option direkt zu den anderen in `\documentclass` verschoben, weil ich keinen Sinn darin sehe, sie erst später per `\KOMAoptions` zu setzen.
Für `\addsec` gilt übrigens sinngemäß das gleiche, nur dass es dort keine Form mit Präfixzeile gibt und deshalb `\sectionlinesformat` für die Formatierung zuständig wäre.
Näheres zu den verwendeten Anweisungen findet sich in der KOMA-Script-Anleitung. `\raisebox` und `\rule` sind in jeder besseren LaTeX-Einführung einschl. ihrer optionalen Argumente dokumentiert.
Off-Topic: Versalsatz ohne Sperrung (min. mit `microtype`, besser manuell mit korrektem Ausgleich) kann ich nicht empfehlen. Siehe dazu beispielsweise [Tschicholds Hauptregeln der Typografie](https://golatex.de/wiki/Tschicholds_Hauptregeln_der_Typografie). Leider ist auch der Kerning von Versalien bei vielen Fonts alles andere als optimal. Eine brauchbare Alternative zu `\MakeUppercase` ist oftmals auch ein schlichtes `\textsc`.
[1]: https://texwelt.de/wissen/upfiles/test_20180421_133743.png
[2]: https://texwelt.de/wissen/upfiles/test_20180421_133743.png
[3]: https://texwelt.de/wissen/upfiles/test_20180421_133839.png
[4]: https://texwelt.de/wissen/upfiles/test_20180421_133839.png
[5]: https://texwelt.de/wissen/upfiles/test_20180421_133903.png