Wie kann ich geschweifte Klammern über mehrere Tabellen-Zeilen spannen?

Dazu bedarf es eines Tricks (bzw. mehrerer).

• Es wird eine zusätzliche Spalte ^c mit zentriertem Inhalt und festgelegten Abständen zu den benachbarten Spalten eingerichtet. Diese Spalte nimmt dann die geschweiften Klammern auf.
• Da die Klammern über mehrere Zeilen reichen werden, muss deren Höhe mit Hilfe von \smash versteckt werden, damit die betroffenen Zeilen ihre Höhe behalten.
• An den Stellen, wo die Klammern über eine gerade Anzahl an Zeilen reichen sollen, muss das Paket »multirow« zur Hilfe herangezogen werden.
• Die Skalierung der Klammern erfolgt im Mathematik-Modus. Die Größe der Klammern muss allerdings manuell festgelegt werden (vielleicht fällt jemand anderem hier ja ein Automatismus ein).

Wenn ich dich dann noch richtig verstanden habe, sollte nachfolgendes Beispiel deinen Wünschen entsprechen.

\documentclass[
  11pt,
  border=2pt,
  convert={density=100}
]{standalone}
\usepackage{array,booktabs,multirow}

\renewcommand*{\familydefault}{\sfdefault}
\newcommand*{\head}{\bfseries}

\newcolumntype{_}{>{\global\let\currentrowstyle\relax}}
\newcolumntype{^}{>{\currentrowstyle}}
\newcommand{\rowstyle}[1]{\gdef\currentrowstyle{#1}%
  #1\ignorespaces
}

\begin{document}
  \begin{tabular}{_l^l@{\,}^c@{\,}^l} \toprule
    \rowstyle{\head}
    Anwendung               & Betriebssystem & & Version     \\ \midrule
    Fileservice             & Linux          & &       \\
    Backup                  & Linux          & \smash{$\left.\rule{0pt}{4.5ex}\right\rbrace$}& Debian      \\
    Mail                    & Linux          & &       \\
    Datenbanken             & Linux          & \multirow{2}{*}{\smash{$\left.\rule{0pt}{3ex}\right\rbrace$}}& \multirow{2}{*}{Red Hat}     \\
    DHCP / DNS              & Linux          & &             \\
    LDAP / Domaincontroller & Windows        & & Server 2008 \\ \bottomrule
  \end{tabular}
\end{document}

Hier darf eine TikZ-Antwort nicht fehlen ;) TikZ ermöglicht es durch seine remember picture und overlay Optionen, Stellen zu markieren, etwa um sie später zu verbinden. Um einen Pfad zwischen zwei solchen Stellen mit einer geschweiften Klammer zu verbinden, kann man die Bibliothek decorations.pathreplacing verwenden, um dann den Pfad mit decorate,decoration=brace zu dekorieren.

\documentclass{article}
\usepackage{array}
\usepackage{booktabs}

\renewcommand*{\familydefault}{\sfdefault}
\newcommand*{\head}{\bfseries}

\newcolumntype{_}{>{\global\let\currentrowstyle\relax}}
\newcolumntype{^}{>{\currentrowstyle}}
\newcommand{\rowstyle}[1]{\gdef\currentrowstyle{#1}%
  #1\ignorespaces
}

\usepackage{tikz}
\usetikzlibrary{decorations.pathreplacing}
\newcommand\savepos[1]{\tikz[remember picture]{\node(#1){};}}

\begin{document}
  \begin{tabular}{_l*{3}{^l}}
    \toprule
    \rowstyle{\head}
    Anwendung               & Betriebssystem & Version \\
    \midrule
    Fileservice             & \savepos{a}    & \savepos{c} \\
    Backup \\
    Mail                    &                & \savepos{d} \\
    Datenbanken             &                & \savepos{e} \\
    DHCP / DNS              & \savepos{b}    & \savepos{f} \\
    LDAP / Domaincontroller & Windows        & Server 2008 \\
    \bottomrule
  \end{tabular}

  \begin{tikzpicture}[remember picture,overlay]
    \draw[decorate,decoration=brace]
      (a.north east) -- node[anchor=west] { Linux } (b.south east) ;
    \draw[decorate,decoration=brace]
      (c.north east) -- node[anchor=west] { Debian } (d.south east) ;
    \draw[decorate,decoration=brace]
      (e.north east) -- node[anchor=west] { Red Hat } (f.south east) ;
  \end{tikzpicture}
\end{document}