Überschriften formatieren: Inhaltsverzeichnis und addchap

Deine Frage ist ein wenig inkonsistent. Mal ist von \addsec mal von \addchap die Rede. Da im Beispiel nur \addchap verwendet wurde, spare ich den Punkt \addsec weitgehend aus.

\addchap-Überschriften sind laut KOMA-Script-Anleitung nicht nummerierte Überschriften der Ebene chapter, für die in der Voreinstellung der Überschriftenstil chapter verwendet wird, wobei die Formatierung bei Überschriften mit Präfixzeile die Anweisung \chapterlineswithprefixformat verwendet wird. Die Unterscheidung, ob die Überschrift nummeriert ist oder nicht, kann darin über das zweite Argument der Anweisung getroffen werden. Ist dieses komplett leer, dann ist die Überschrift nicht nummeriert. Ob es sich tatsächlich um eine Überschrift der Ebene chapter handelt oder eine andere Überschrift im Stil chapter kann über das erste Argument ermittelt werden, das den Namen der Ebene enthält. Damit kann man die Linie für nicht nummerierte Überschriften einfach durch Umdefinierung von \chapterlineswithprefixformat und zwei Fallunterscheidungen erreichen:

\documentclass[
    paper=17cm:24cm,
    12pt,
    chapterprefix
    ]{scrbook}

\usepackage[ngerman]{babel} % deutsche Sprache
\usepackage{blindtext}

\newcommand{\seplinewidth}{.5pt}

\renewcommand*\raggedchapter{\flushright}

\setkomafont{chapterprefix}{\large}
\addtokomafont{chapter}{\normalfont}

\renewcommand*{\chapterformat}{%
    \MakeUppercase{\chapappifchapterprefix{\nobreakspace}}\thechapter%
    \IfUsePrefixLine{%
        \par\nobreak\vspace{-\parskip}\vspace{-.5\baselineskip}%
        {\rule{\textwidth}{\seplinewidth}}\\[-.75\baselineskip]
        }{\enskip}%
}

\RedeclareSectionCommand[beforeskip=0pt,afterskip=8\baselineskip]{chapter}

\renewcommand{\chapterlineswithprefixformat}[3]{%
  \Ifstr{#1}{chapter}{% Für alle Überschriften der Ebene chapter":
    \IfArgIsEmpty{#2}{% Für nicht nummerierte Überschriften:
      \parbox{\dimexpr\linewidth-.5em-1pt}{\raggedchapter #3}%
      \enskip
      \raisebox{0pt}[0pt][0pt]{% Die Linie soll effektiv weder Höhe noch Tiefe haben.
        \rule[-3.5\baselineskip]{1pt}{5\baselineskip}%
        \par
      }%
    }{% Für nummerierte Überschriften:
      #2#3% Die Standarddefinition aus der Anleitung übernehmen.
    }%
  }{% Für alle anderen Überschriften im Stil chapter:
    #2#3% Die Standarddefinition aus der Anleitung übernehmen.
  }%
}

\begin{document}

\tableofcontents % Inhaltsverzeichnisses

\addchap{Vorwort}
    \blindtext[2]

\chapter{Das ist ein Kapitel}
    \blindtext[2]

\end{document}

Ich habe überflüssigen (weil nicht verwendeten) Code entfernt und die Option direkt zu den anderen in \documentclass verschoben, weil ich keinen Sinn darin sehe, sie erst später per \KOMAoptions zu setzen.

Für \addsec gilt übrigens sinngemäß das gleiche, nur dass es dort keine Form mit Präfixzeile gibt und deshalb \sectionlinesformat für die Formatierung zuständig wäre.

Näheres zu den verwendeten Anweisungen findet sich in der KOMA-Script-Anleitung. \raisebox und \rule sind in jeder besseren LaTeX-Einführung einschl. ihrer optionalen Argumente dokumentiert.

Off-Topic: Versalsatz ohne Sperrung (min. mit microtype, besser manuell mit korrektem Ausgleich) kann ich nicht empfehlen. Siehe dazu beispielsweise Tschicholds Hauptregeln der Typografie. Leider ist auch der Kerning von Versalien bei vielen Fonts alles andere als optimal. Eine brauchbare Alternative zu \MakeUppercase ist oftmals auch ein schlichtes \textsc.