Eine Einstellung `onelinecaptionsfalse` gibt es nicht. Es gäbe `singlelinecheck=false`. Das hast du allerdings bereits mit `nooneline` beim Laden von `caption` eingestellt. Außerdem bewirkt das etwas anders, nämlich, dass einzeilige Beschriftungen nicht automatisch zentriert werden.
Was du suchst, dürfte ein neues Format sein, etwas wie:
\documentclass[12pt,a4paper]{article}
\usepackage[utf8]{inputenc}
\usepackage{tabularx}
\usepackage[nooneline, textfont=it]{caption}
\DeclareCaptionFormat{linebreak}{#1#2\\#3}
\captionsetup{format=linebreak}
\begin{document}
\begin{table}[htb]
\caption{Eine Tabelle}
\begin{tabularx}{\linewidth}{@{\extracolsep{\fill}}*1l r r r r r r} \hline
&&& \multicolumn{4}{c}{Kategorie}\\ \cline{4-7}
& \multicolumn{2}{c}{Gesamt} & \multicolumn{2}{c}{Subkategorie} & \multicolumn{2}{c}{Subkategorie} \\
& \multicolumn{2}{c}{Text} & \multicolumn{2}{c}{Text} & \multicolumn{2}{c}{Text} \\ \hline
Ein längeres Wort oder zwei & xx.xx & y.yy & xx.xx & yy.yy & xx.xx & y.yy \\
Ein anderes Wort & xx.xx & yy.yy & xx.xx & y.yy & xx.xx & yy.yy\\
\end{tabularx}
\end{table}
\end{document}
Wie ich gerade sehe, ist genau so ein Format übrigens als erstes Beispiel unter 4.1 in der `caption`-Anleitung zu finden. Ich empfehle daher, die Anleitung gelegentlich etwas gründlicher zu studieren. Da sind viele wertvolle Informationen zu finden.
Ergänzend möchte ich dir die Verwendung von [`booktabs`](https://ctan.org/pkg/booktabs) für deine Tabellen empfehlen. Die horizontalen Linien werden damit bedeutend besser platziert.platziert, vorausgesetzt man verwendet die Linienbefehle von `booktabs`.
