1276 wurde das Schloss erstmals in Dokumenten erwähnt. Aufgrund eines gemauerten Wohnturmes, der 1999 bei Grabungen entdeckt wurde, geht man jedoch davon aus, dass die Anfänge des Schlosses schon im 11. Jahrhundert liegen.

Im Laufe der Jahrhunderte gehörte das Schloss verschiedener Linien an, unter anderem der von Graf Ernst von Sayn-Wittgenstein, der dem Schloss sein barockes Erscheinungsbild verlieh. Damals wurde das Schloss ausschließlich als Wohnanlage verwendet.

 Nach der Übernahme der Linie Sayn-Wittgenstein-Berleburg erlag das Schloss dem Verfall, bis dieser Anfang des 20. Jahrhunderts von Hermann Conrads gestoppt wurde. Er nutze die Räumlichkeiten für sein Museum.