La etapa que dejó una huella más profunda en su fisonomía fue la musulmana. Tras la conquista islámica de la Península en 711, Vejer —citada como Besher— permaneció durante más de cinco siglos bajo dominio musulmán. De aquella época proceden buena parte de su trazado de calles estrechas e irregulares, elementos del castillo y del recinto amurallado y, en buena medida, esa estructura urbana cerrada e íntima que todavía caracteriza al casco antiguo.
La incorporación al reino de Castilla fue un proceso largo. Hubo una primera conquista cristiana en el siglo XIII, una posterior recuperación musulmana durante la revuelta mudéjar de 1264 y finalmente Vejer quedó definitivamente en manos castellanas en 1285.
A comienzos del siglo XIV pasó al señorío de Alonso Pérez de Guzmán, Guzmán el Bueno, y quedó posteriormente vinculada a la poderosa Casa de Medina Sidonia. De aquellos tiempos procede también una de las instituciones más singulares de Vejer: las Hazas de Suerte, tierras comunales cuyo origen está en los repartimientos realizados a partir de 1288 para favorecer el asentamiento de pobladores en una zona fronteriza peligrosa
Durante los siglos XV y XVI tuvieron especial importancia los enfrentamientos de los vecinos con los duques de Medina Sidonia por la defensa de esas tierras comunales, con Juan Relinque como figura emblemática.
Al pasear hoy por Vejer se superponen muchas épocas: restos antiguos, estructura urbana andalusí, murallas medievales, arquitectura cristiana y el caserío popular andaluz encalado. Esa continuidad histórica explica que su casco antiguo fuese declarado Conjunto Histórico-Artístico en 1976.
