Même l’empereur Frédéric Barberousse, sous lequel la dynastie a régné sur une vaste partie de l’Europe centrale et méridionale, séjourna dans son château ancestral en l’an 1181. Après l’accession de Frédéric au rang d’empereur, la place forte a cependant perdu de son importance du fait du déplacement du pouvoir vers le Palatinat du Rhin et les grandes villes impériales. Le fils de Frédéric Barberousse, le roi Philipp von Schwaben, fut le dernier de la maison de Hohenstaufen à garder un lien avec le berceau ancestral. Après son assassinat, sa veuve, la fille de l’empereur byzantin Irene, dont Walter von der Vogelweide chantait qu’elle était une « rose sans épine », se retira dans le château.