No final da segunda década do século XX, o Arquivo do Distrito Federal foi reorganizado como repartição independente, sob a direção do eminente historiador Noronha Santos que procedeu ao primeiro tratamento técnico de identificação, classificação e arranjo do seu acervo documental. A partir dessa época, a quantidade de documentos que passou a ser custodiada pelo órgão se multiplicou, devido à expansão da própria cidade e ao surgimento de novas espécies documentais, tais como fotografias, filmes e discos.

Porém, a partir de 1938, com a publicação do Decreto nº 836, tornou-se um mero Serviço da Diretoria de Interior da Prefeitura do Distrito Federal. Em 1940, o Decreto nº 620 transferiu o Arquivo para a Secretaria Municipal de Educação e Cultura, com a designação de Serviço de Arquivo Geral.

Entre as décadas de 1940 e 1960, o Arquivo do Distrito Federal permaneceu como órgão da Secretaria Municipal de Educação e Cultura, subordinado ao Departamento de História e Documentação. Essa situação constituiu-se, mais uma vez, em um obstáculo para que o órgão pudesse cumprir a sua função de gerir e preservar a documentação permanente produzida pelo Poder Executivo municipal, pois perdeu poder na escala hierárquica da administração. Uma das consequências dessa subordinação administrativa foi o extravio de muitos conjuntos documentais importantes, produzidos, nesse período, pelos diferentes órgãos e repartições da Prefeitura da cidade.

Todas as transformações político-administrativas ocorridas no Rio de Janeiro, entre 1960 e 1975, como a transferência da Capital Federal para Brasília e a criação do estado da Guanabara, também contribuíram para dispersar e extraviar os documentos oficiais produzidos nessa época.

Em 1963, por decreto do governador do estado da Guanabara, o Arquivo do Distrito Federal passou a ser denominado Serviço de Arquivo Histórico, mas manteve-se subordinado à Divisão do Patrimônio Histórico e Artístico da Secretaria Estadual de Educação e Cultura.

Em 1975, depois da fusão dos antigos estados da Guanabara e do Rio de Janeiro, quando a cidade tornou-se capital do novo estado do Rio de Janeiro e voltou à condição de município, sua denominação foi mudada para Arquivo Municipal, mas permaneceu subordinado ao Departamento Geral de Cultura da Secretaria Municipal de Educação e Cultura.

O Decreto nº 2.052, publicado em 6 de março de 1979, restabeleceu a denominação de Arquivo Geral da Cidade do Rio de Janeiro, porém o manteve subordinado ao Departamento Geral de Cultura da Secretaria Municipal de Educação. Nesse mesmo ano, foram realizadas as obras para a construção do seu prédio-sede. A retomada da denominação Arquivo Geral pretendeu restabelecer as funções originais do órgão, que voltou a ser encarregado da gestão e da preservação de toda a documentação de valor permanente produzida pela municipalidade.