Das 1680 bis 1682 erbaute Sommerschloss der Würzburger Fürstbischöfe wurde 1753 durch Balthasar Neumann vergrößert. 1806 bis 1814 war das Schloss in den Sommermonaten von Großherzog Ferdinand von Toskana bewohnt, der in dieser Zeit in Würzburg residierte. Seit 1814 ist das Schloss im Besitz der Bayerischen Krone und wurde im 19. Jahrhundert von der königlichen Familie ebenfalls als Sommerschloss genutzt. Nach der Restaurierung von 1931/32 wurde das Schloss der Öffentlichkeit als Museum zugänglich gemacht. Im Inneren des von 2001 bis 2005 aufwändig restaurierten Schlosses sind neben Stuckaturen von Antonio Bossi die Räume aus der Toskanazeit mit ihren seltenen Papiertapeten besonders sehenswert.
Im Schloss ist außerdem die Ausstellung "Es kommen immer Leit aus Würzburg und Frembde hierher …" zur Geschichte des Hofgartens Veitshöchheim zu besichtigen. Für Kinder gibt es in der Gartenausstellung ein ganz besonderes Angebot, nämlich einen Audioguide in Form eines Hörspiels mit Marionetten.