Localizado originalmente no morro do Vigia, este forte foi importante na defesa inicial de Vitória contra ataques como o de Thomas Cavendish. Inicialmente uma estrutura de madeira e terra, foi sendo alterada e ampliada ao longo dos séculos. No século XVIII, plantas mostram que a fortificação possuía um formato irregular de meio heptágono, conservando esse padrão até o final do XIX, quando foi desativado em 1888 e anexado à propriedade da Chácara do Bispo. Sua estrutura foi quase que totalmente alterada após funcionar como cassino e depois sede do Clube de Regatas Saldanha da Gama em 1931, ganhando três andares e o aspecto de um casarão.