O castelo medieval de Vila Viçosa foi construído no século XIII, mas o conjunto foi objecto de múltiplas obras ao longo dos tempos. Da primitiva fortificação resta ainda grande parte da cerca, rasgada por três portas defendidas harmonicamente por pares de torres cilíndricas, como foi usual no período gótico.
A partir de 1520, por projecto de um dos arquitectos da família Arruda (Diogo ou Francisco), o castelo foi transformado numa fortaleza de artilharia, de gosto e influência italianos, semelhante ao cenográfico paço-castelo de Évora Monte, saído da mão da mesma estirpe de arquitectos régios. A obra prolongou-se até 1537 e transformou a torre de menagem gótica numa estrutura singular, de planta quadrangular reforçada nos ângulos por torres cilíndricas.