Diferentes atores sociais participaram nas tarefas de construção do Quarteirão no período jesuíta (1613-1767). Assim como acontecia em outros âmbitos da sociedade colonial, as divisões do trabalho estavam muito bem delimitadas.
Os africanos escravizados constituíam a mão-de-obra forçada. Pertenciam à Companhia de Jesus e moravam nos ranchos, um espaço localizado no setor sul do Quarteirão. Existem registros que evidenciam os trabalhos realizados por este grupo social, em muitos casos vinculados à construção (ferragens, carpintaria, pedreiros, além de tarefas na obra e a confecção têxtil).
Após a expulsão da Companhia de Jesus pelo Rei da Espanha, fato ocorrido em 1767, os escravos que moravam no Quarteirão foram registrados, taxados e posteriormente vendidos. A Junta de Temporalidades foi a instituição encarregada dessa tarefa. Seus documentos constituem uma fonte de informação muito valiosa.
Por este motivo, o Quarteirão Jesuíta é considerado pela UNESCO «Lugar de Memória dos Afrodescendentes».