O Brasil e mais especificamente o Rio de Janeiro já foi objeto de cobiça de várias nações na época colonial.
Na tentativa francesa de ocupar o Rio de Janeiro, o almirante francês Nicolas Durand de Villegagnon, ocupou e construiu um forte (Forte Coligny) na ilha que hoje leva seu sobrenome . Antes ela era conhecida como ilha de Serigipe pelos indígenas, e como Ilha das Palmeiras pelos portugueses. Em 1560 ela foi retomada pelos portugueses
Antes de se tornar a atual Escola Naval, a ilha de Villegagnon virou a Fortaleza de São Francisco Xavier, cuja construção começou com o Governador Gomes Freire de Andrade em 1733.
Apenas em 1938 a Ilha de Villegagnon se tornou a atual Escola Naval. Nessa época já estava ligada ao continente pelo aterro feito com os restos do Morro do Castelo.