Mit dem Aussterben der Familie Zufraß im Jahr 1572  geht es zurück an den Grafen Henneberg. Dieser verkauft es 1576 für 15.300 Gulden an seinen Rat Caspar von Hanstein, welcher das Herrenhaus des Hinteren Rittergutes auf bestehenden Grundmauern aus früherer Zeit neu errichten lässt. Mit dem Tode des letzten, kinderlos gebliebenen von Hanstein in Henfstädt 1935 übernimmt die anverwandte Linie der Mutter, Familie von Harbou, die Besitztümer.

Nach  Vertreibung, Flucht und Enteignung der Familie von Harbou 1945 wird das Hintere Schloss geplündert und schließlich verschiedenen Nutzungen zugeführt. Letztendlich übernimmt das Volkseigene Gut die Liegenschaften. Eine Zeit der mutwilligen Zerstörung beginnt; auf Parkettböden werden Hühner gehalten.

Der Schlosspark wird gerodet und Schweineställe hineingebaut. Das VEG richtet in den Nebengelassen Reparaturstätten für Landmaschinentechnik ein. Das zur Ruine verkommene Hintere Schloss übernimmt 1993 Matthias Ramb, Künstler, Musiker und Pädagoge.

Das Projekt „Kunst- und Kulturschloss Henneberger Land“ will einer jungen Generation Musik, Kunst und kreatives Schaffen nahe bringen. Gerade auch der pflegliche Umgang mit Denkmalgebäuden und der Einsatz für ihre Wertschätzung ist Matthias Ramb seit seiner Kindheit ein persönlicher Antrieb, Kreativprozesse zu initiieren und zu begleiten. In einem nunmehr 28 Jahreandauernden „Work in process“ wurden alle Gebäude des Hinteren Schlosses vor weiterem Verfall gerettet und einer behutsamen Nutzung zugeführt.