Ballonpladsens navn fortaber sig i det uvisse. Den blev angiveligt anlagt under Christian d.5. i slutningen af 1600-tallet, og skulle være blevet brugt til boldspil. Historien forlyder, at man brugte svineblærer til bolde/ balloner. Der er dog ingen dokumentation for den historie. Men hos Slots- og Ejendomsstyrelsen har man på regninger fra anlægsarbejder, hvor pladsen omtale som Ballonpladsen, Bajon-pladsen og Melonpladsen.
Frederik d.4 og bygmester Johan Cornelius Krieger grundlagde det Fredensborg vi kender i dag. De anlagde også et meget veludstyret haveanlæg. Hovedstrukturen kan genkendes i dag med allésystemet der stråler ud fra slottets centrum. Lysthaven var dengang afgrænset til det halvcirkelformede parterre.
Udenfor lysthaven var en lang række indretninger til nytte for hoffets køkken og kongefamiliens fornøjelser. Der var fiskedamme, sneglebakker, fasangård, frugt- og urtehave. Skoven var indhegnet til vildt og heste. Ballonpladsen var dengang indrettet til andeopdræt. Det var angiveligt en rund sø omgivet af andehuse.
Under Frederik d.5. blev slotshaven omlagt så den blev en præsentabel lysthave udformet med inspiration fra store franske forbilleder som Versailles. Det var den franske arkitekt N.H. Jardin der stod for omlægningen i et tæt samarbejde med den danske billedhugger J. Wiedewelt. Ballonpladsen blev i den forbindelse omlagt (fra begyndelsen af 1760'erne).
Pladsen var rund og omgivet af en række lindetræer. I midten placeredes en firkantet ø med en obelisk med Frederik d. 5.'s portræt. Øen var omgivet af et cirkelformet dybt bassin med en bredde på cirka fem meter. En bred muret bro gjorde det muligt at komme over til øen. Pladsen blev rigt udsmykket. Mellem lindetræerne var opstillet marmorballustrader og postamenter til skulpturer. Der var 28 store blyfigurer og otte store sandstensskulpturer. Ved broen stod to frugtkurve af sandsten på postamenter.
På både broen og øen var der opstillet marmorborner som givetvis var forbundet med jernkæder som en slag gelænder. Hvor Ballonpladsen støder op til Sandport Allé var der et grønmalet lysthus med en forgyldt stjerne i toppen. Omkring hele anlægget var et grønmalet treillage i 1,5 m. højde(stakitværk). Hele udformningen kan i opbygning på mange måder minde om Nordmandsdalen, idet man har kunne gå rundt og betragte de mange skulpturer på en sti langs lindetræerne.
Dette anlæg blev udført samtidig med den store omlægning af havens hovedallé Brede Allé. Ballonpladsen skal ses som et af de oplevelseskabinetter der lå omkring det halvcirkelformede parterre. Skibsbakken og Vinhøst-kabinettet matcher pladsen på den modsatte side af hovedaksen.