A representação da arquitetura da torre feita por Bruegel, com seus vários arcos e outros exemplos de engenharia romana, é intencionalmente retrospectiva do Coliseu de Roma, lugar que cristãos consideram símbolo de arrogância e perseguição. Bruegel visitou Roma entre 1552 e 1553.

A Torre de Babel está em exposição no Museu de História da Arte, em Viena. A outra pintura do mesmo tema, a "'Pequena' Torre de Babel", de 1563, está no Museu Boijmans Van Beuningen em Roterdão.