Primeiro era chamado de Morro do Descanso e, em seguida, São Januário, para só depois ser denominado Castelo. Lugar onde Mem de Sá escolheu para montar estrategicamente as suas bases. Nesse morro tinha de tudo: fortaleza, igreja, colégio dos jesuítas, hospital, faculdade de medicina, telégrafo, cadeia, calabouço, observatório, muralha de pedra, ladeiras, casario antigo... porém, nada restou com a sua demolição.

Inicialmente perdeu a primeira encosta, em 1904, para a abertura da Avenida Central, onde em áreas vizinhas estão hoje o Museu de Belas Artes, a Biblioteca Nacional e o Centro Cultural da Justiça Federal. Anos depois, com o golpe final de uma demolição devastadora, abriu espaço para abrigar a Exposição do Centenário da Independência, em 1922, na administração do prefeito Carlos Sampaio. Do sítio original, sobrou apenas o sopé da Ladeira da Misericórdia, tombada pelo patrimônio estadual.

O Morro do Castelo ficava na área de maior valorização do solo da cidade

Exposição Internacional de 1922, na Esplanada o Morro do Castelo

Rua da Misericórdia teve seus sobrados e casarões demolidos em nome da reurbanização da área da Esplanada do Castelo

Na opinião do arquiteto Lucio Costa, a demolição foi feita com desamor e sem cuidado. Por conta dessa destruição, perdeu-se muito do valor histórico, arquitetônico e afetivo da cidade, o que poderia ter sido evitado se, na época, houvesse uma legislação urbana adequada e a sociedade fosse mais participativa dando voz ao veto.

Para a demolição foram usados desde a picareta até processos hidráulicos

Em nome da modernidade, da especulação imobiliária e das transformações que impunham uma nova fisionomia à cidade, o Morro do Castelo foi demolido sem dó, nem piedade.