Die Geschichte des Schlosses in Zahrádky beginnt um 1556, als Kryštof Plot z Koňařin als Hauptmann von Nový Vítkovec, wie das Schloss einst genannt wurde, nachzuweisen ist. Johann von Wartenberg ließ es erbauen und zugleich die Innenräume kostspielig einrichten. Das Schloss wechselte dann die Besitzer innerhalb des Geschlechts Wartenberg. Jan Jiří z Wartenberga war der letzte des Geschlechtes, der das Schloss verwaltete. Da er sich aktiv am Aufstand gegen die Habsburger 1619–1620 beteiligte, wurde er zum Verlust des gesamten Eigentums verurteilt.

Das Schloss kaufte Albrecht von Wallenstein 1623. Damals verfügte es über ein ziemlich kostbares Mobiliar, eine hervorragende Bibliothek und Galerie sowie einen Schlosspark mit zahlreichen seltenen Holzarten. Nach der Ermordung Valdštejn 1634 wurde das Schloss zum Besitz seiner Ehefrau Isabella und später seiner einzigen Tochter Marie Alžběta, die den obersten Jägermeister Rudolf Kounic heiratete. Im Besitz von Kounic blieb die Herrschaft bis in das Jahr des Aussterbens des Geschlechtes 1897. Danach besaßen noch Jan Lichtenštejn und Emanuel Lichtenštejn das Schloss.

Nach 1945 wurde das Schloss zum Besitz des Staates. Zum Bestand des Schlossparks wurde im 19. Jh. auch die Felsenschlucht des Bachs Robečský, genannt Peklo, heute ein Nationalnaturdenkmal mit einem reichen Vorkommen der Knotenblume und die Lindenallee Valdštejnská (300 Jahre alt), die zu einer der ältesten Fasanerie in Böhmen führt, heute mit Zucht von Bezoarziegen und Schafwild.

Infolge eines dreitägigen Brands an der Wende von Januar und Februar 2003 ist das Schloss leider ziemlich abgebrannt.