Kardynał Karl-Josef Rauber urodził się w Norymberdze 11 kwietnia 1934. Studiował teologię i filozofię na uniwersytecie w Moguncji. Święcenia kapłańskie przyjął w Moguncji 28 lutego 1959. W 1962 wyjechał do Rzymu, gdzie uzyskał doktorat z prawa kanonicznego na Papieskim Uniwersytecie Gregoriańskim i wstąpił na Papieską Akademię Kościelną, przygotowującą dyplomatów watykańskich.

1 października 1966 rozpoczął pracę w Sekretariacie Stanu, w którym z czasem został szefem sekcji niemieckiej. Od 1977 pracował w papieskich placówkach w Belgii, Grecji i Ugandzie. 18 grudnia 1982 Jan Paweł II mianował go pronuncjuszem apostolskim w Ugandzie i arcybiskupem tytularnym Giubalziana i osobiście udzielił mu sakry 6 stycznia 1983. W latach 1990-93 był rektorem Papieskiej Akademii Kościelnej. 16 marca 1993 został mianowany nuncjuszem apostolskim w Szwajcarii i Liechtensteinie, od 25 kwietnia 1997 piastował podobne stanowisko na Węgrzech i w Mołdawii oraz od 22 lutego 2003 - w Belgii i Luksemburgu. Jako nuncjusz apostolski stawał w obliczu trudnych wyzwań. Na przykład w Ugandzie prowadził swoją pracę w latach, kiedy wybuchło i rozprzestrzeniło się AIDS, co miało niszczące konsekwencje dla ludności. W Szwajcarii pomagał łagodzić napięcia związane z diecezją Chur i biskupem Wolfgangiem Haasem. Na Węgrzech kierował etapem wznowienia stosunków między państwem a Kościołem po okresie prześladowań komunistycznych. W Belgii pracował w nie zawsze łatwym kontekście społecznym i politycznym; a kiedy w Brukseli powstało również przedstawicielstwo papieskie przy Unii Europejskiej, pracował nad harmonizacją i podziałem pracy tych dwóch instytucji dyplomatycznych na ziemi belgijskiej.

Osiągnąwszy wiek 75 lat, w 2009 r. przeszedł na emeryturę i od tego czasu pełnił posługę duchową i duszpasterską w Niemczech, w domu Szensztackiego Instytutu Sióstr Mary w Ergenzingen, w diecezji Rottenburg-Stuttgart, utrzymując zawsze żywe relacje z diecezją Mainz. Następnie zamieszkał w domu prowincjalnym zgromadzenia, w Rottenburg am Neckar, w Badenii-Wirtembergii.

14 lutego 2015 r. papież Franciszek włączył go do Kolegium Kardynalskiego.

Po jego śmierci Kolegium kardynalskie liczy 22 członków, w tym 123 elektorów i 99 purpuratów nie posiadający prawa udziału w ewentualnym konklawe. 110 kardynałów mianował papeż Franciszek.