Næsbyholm Slot blev opført i 1585 af Steen Brahe og Birgitte Rosenkrantz. Men de boede her kun i en kort årrække, indtil Birgitte Rosenkrantz dør ganske ung, og Steen Brahe vælger at fraflytte renæssanceslottet.

I 1709 købte Kong Frederik 4. Næsbyholm Slot, og han slog jordbesiddelserne på slottet sammen med nabogodset Bavelse Gods. Det var her lensbaroniet Næsbyholm-Bavelse blev oprettet.

Kongens elskerinde Charlotte Helene Von Schindel flytter ind på Næsbyholm, men finder sig en elsker efter en årrække. Kongen blev så rasende, at hun bliver landsforvist. Det siges, at hun i dag er vendt tilbage til slottet som genfærd og vandrer hvileløst rundt for at finde sin elskede konge. Værelset, hvor hun skulle huserer, var engang nummer 13. I dag er det blevet omdøbt til værelse nummer 23.

Næsbyholm Slot ejes i dag af lensbaron Mogens Holck. Han bor på Bavelse Gods, der er hans barndomshjem og lejer i dag Næsbyholm Slot ud til Birte Hemmer og Stine Hemmer-Havnsgaard, som er mor og datter. De arrangerer bryllupper på det gamle slot og andre fester. Næsbyholm Slot har været lejet ud til Hemmer-familien i godt seks år, og slottet har tidligere også været brugt til plejehjem. De sidste Holcker på Næsbyholm Slot var lensbaron Mogens Holcks bedsteforældre lensbaron og lensbaronesse Eiler og Jessy Holck. Tidligere var Næsbyholm Slot Holckernes sommerresidens, når de ikke var på Holckenhavn på Fyn.

Slottet er brændt delvist ned i henholdsvis 1932 og 1947, og begge gange genopbygget i oprindelig stil.