Forsvarskommandoen blev oprettet på grundlag af forsvarsloven af 1969.
I denne lov blev det bestemt, at Forsvarsstaben, Hærkommandoen, Søværnskommandoen og Flyverkommandoen skulle sammenlægges til en fælles kommando, Forsvarskommandoen.
 
Før etableringen af Forsvarskommandoen var Forsvarsstaben og Hærstaben underbragt i det gamle historiske militære etablissement Kastellet i København. Marinestaben havde til huse i Gernersgade i umiddelbar nærhed af Nyboder, og Flyverstaben var underbragt i Henriksholm på Flyvestation Vedbæk.
 
Som følge af den politiske udvikling, der bl.a. medførte et ønske om at udflytte så mange af Forsvarets enheder som muligt fra København, blev det i 1969 bestemt at udflytte den kommende Forsvarskommando til Vedbæk.
 
Forsvarsministeriet pålagde derfor Forsvarets Bygningstjeneste at iværksætte bygningen af en moderne og funktionel bygning, som kunne rumme hovedparten af den samlede Forsvarskommando. Resultatet blev en bygning i moderne stil opført af stål og beton, placeret i det naturskønne område overfor Henriksholm.
 
I november 1972 blev bygningen taget i brug. Forsvarsstaben flyttede ind som den første stab efterfulgt af Flyverstaben, Marinestaben og Hærstaben. I marts 1973 var den samlede Forsvarskommando placeret i Forsvarskommandobygningen.

Med forsvarsforliget 2005 - 2009 blev det besluttet at flytte Forsvarskommandoen tilbage til København. Den 24. juli 2006 flyttede Forsvarskommandoen derfor ind i bygningerne på Søarsenalet på Holmen, hvor man har adresse i dag.