Das ehemalige Schloss der Herren von Erthal in Elfershausen aus dem 16. Jahrhundert dient heute als Rathaus, dem Sitz der Verwaltungsgemeinschaft mit der Gemeinde Fuchsstadt.
Der zweigeschossige Barockbau hat oberhalb der Freitreppe ein schönes Portal mit dem Ehewappen Erthal-Rosenberg und eine Bauinschrift.