Wenn ich die Anleitung von `xcolor` richtig verstehe, bewirkt die Paketoption `RGB` nur, dass alle verwendeten Farben nach `RGB` und anschließend `rgb` konvertiert werden. Insofern kann man sie auch gleich nach `rgb` konvertieren lassen. Deshalb kannst Du die von Dir benutzten Farben ja trotzdem zunächst im RGB Modell definieren, musst also nicht selbst umrechnen.
Wenn Du dort aber unbedingt `RGB` stehen haben möchtest, dann kannst Du das Problem mit
\setbeamertemplate{section in toc shaded}[default][40!parent.bg!50]{}
oder
\setbeamertemplate{section in toc shaded}
{{\color{section in toc.fg!20!parent.bg}\usebeamertemplate{section in toc}}}
umgehen.
\documentclass[xcolor={RGB,table}]{beamer}
\usepackage[utf8]{inputenc}
\usepackage[english]{babel}
%\usecolortheme[RGB={150,20,150}]{structure}
\title{tableofcontent}
\author{Me}
\date{\today}
%\setbeamertemplate{section in toc shaded}[default][40!parent.bg!50]{}
\setbeamertemplate{section in toc shaded}
{{\color{section in toc.fg!20!parent.bg}\usebeamertemplate{section in toc}}}
\begin{document}
\section{Section 1}
\begin{frame}{Outline}
\tableofcontents[currentsection]
\end{frame}
\begin{frame}{Frame 1}
frame 1
\end{frame}
\section{Section 2}
\begin{frame}{Outline}
\tableofcontents[currentsection]
\end{frame}
\begin{frame}{Frame 2}
frame 2
\end{frame}
\end{document}
----------
Das Problem hat vermutlich etwas mit der vom Paket `xxcolor` definierten Umgebung `colormixin` zu tun, die in der Voreinstellung für die halbverdeckten Einträge in den Inhaltsverzeichnissen verwendet werden:
\documentclass[RGB]{article}
\usepackage{xxcolor}% lädt auch xcolor
\makeatletter% aus pgfutil-common.tex
\def\pgfutil@namelet#1{\expandafter\pgfutil@@namelet\csname#1\endcsname}
\def\pgfutil@@namelet#1#2{\expandafter\let\expandafter#1\csname#2\endcsname}
\makeatother
\begin{document}
\begin{colormixin}{35!green}% ab 36 kein Fehler
Test
\end{colormixin}
\end{document}
Ist der Faktor 36 oder größer verschwindet die Fehlermeldung. Vielleicht findet ja jemand eine Erklärung dafür. Bei mir existiert das Problem das Problem auch bei Verwendung älterer TeX Live Versionen.
