@Qrrbrbirlbel
Danke für die Hilfe. Dein Kommentar hat mir auf jeden Fall sehr geholfen. Ich musste allerdings noch eine kleinere weitere Anpassung vornehmen, damit es auch 100 %ig funktioniert. Das Problem liegt ja nicht nur bei der inner sep der Matrix, sondern auch beim Abstand zwischen den Zeilen der Matrix. Dieser muss demnach auch nochmal um die Hälfte der Linienstärke des oberen und um die Hälfte der Linienstärke des unteren Elements angepasst werden, also um -2 mal 0,5 mal \pgflinewidh=-1\pgflinewidth. \pgflinewidth=-1 \pgflinewidth. Unten nun meine Lösung:
\documentclass{scrbook}
\usepackage[latin1]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{lmodern}
\usepackage[ngerman]{babel}
\usepackage{amsmath}
\usepackage{tikz}
\usetikzlibrary{calc}
\begin{document}
\begin{tikzpicture}[
reklein/.style={rectangle,draw,minimum width=4cm,minimum height=1cm,anchor=north west,align=center},
rerund/.style={rectangle,draw,minimum width=3cm,anchor=center,align=center},
pfeil/.style={semithick,->,shorten >=5pt,shorten <=5pt}]
% Grid
\draw[step=0.5cm,very thin,gray] (0,0) grid(14,20);
% linke Matrix
\matrix(mat)[row sep=5mm-1\pgflinewidth,column sep=5cm,anchor=north west,inner sep=-0.5\pgflinewidth] at (0,14){
\node [reklein](prod1) {linkes Element 1};\\
\node [reklein](prod2) {linkes Element 2};\\
\node [reklein,minimum height=4cm](prod3) {linkes Element 3}; \\
};
% rechte Matrix
\matrix(mat)[row sep=5mm-1\pgflinewidth,column sep=5cm,anchor=north east,inner sep=-0.5\pgflinewidth] at (14,14){
\node [reklein](prod4) {rechtes Element 1};\\
\node [reklein](prod5) {rechtes Element 2};\\
\node [reklein](prod6) {rechtes Element 3};\\
\node [reklein](prod7) {rechtes Element 4};\\
\node [reklein](prod8) {rechtes Element 5};\\
};
% mittlere Elemente
\node [rerund] (rund1) at ($0.5*(prod1)+0.5*(prod4)$) {mit. Elem. 1};
\node [rerund] (rund2) at ($0.5*(prod2)+0.5*(prod5)$) {mit. Elem. 2};
\node [rerund] (rund3) at ($(rund2)-(0,1.5)$) {mit. Elem. 3};
\node [rerund] (rund4) at ($0.5*(prod3)+0.5*(prod7)$) {mit. Elem. 4};
\node [rerund] (rund5) at ($(rund4)-(0,1.5)$) {mit. Elem. 5};
% Verbindungen über Pfeile
\draw [pfeil] (rund1) to (prod1);
\draw [pfeil] (rund1) to (prod4);
\draw [pfeil] (rund2) to (prod2);
\draw [pfeil] (rund2) to (prod5);
\draw [pfeil] (rund3.west) to (prod3);
\draw [pfeil] (rund3) to (prod6);
\draw [pfeil] (rund4) to (prod3);
\draw [pfeil] (rund4) to (prod7);
\draw [pfeil] (rund5.west) to (prod3);
\draw [pfeil] (rund5) to (prod8);
\end{tikzpicture}
\end{document}