1662 brann slottet ner och byggdes upp igen – för att så brinna ner ännu en gång 1792. Idag ser vi bara resterna av en flygelbyggnad från 1600-talet, samt den stora parkanläggningen som fanns runt slottet.
Lindholmen var under 1600- och 1700-talen en viktig plats i svensk historia. Slottet var en storslagen barockanläggning med torn, flygelbyggnader och en storslagen park med byggnader och statyer. Ruinerna restaurerades 1931–32.