La torre fue construida en 1221, durante la dominación almohade, para controlar el acceso a la ciudad desde la orilla izquierda del Guadalquivir. Se trata de una torre albarrana (del árabe barrani, exterior) porque formaba parte del conjunto de fortificaciones levantadas alrededor de la ciudad por los almorávides y los almohades entre los siglos XI y XIII. Estaba unida al Alcázar por un tramo de muralla que pasaba por la Torre de la Plata y que fue demolido en 1821.
La torre tiene 36 metros de altura y tres cuerpos perfectamente reconocibles, cada uno de los cuales fue construido en una época diferente. El primer cuerpo se construyó entre 1220 y 1221 por orden del gobernador almohade de Sevilla Abù I-Ulà. La construcción del segundo cuerpo fue ordenada por Pedro I el Cruel en el siglo XIV. El cuerpo superior, cilíndrico y rematado con una cúpula, fue construido en 1760 por el ingeniero militar Sebastián Van der Borcht.
Se dice que su nombre proviene del hecho de que allí se guardaba el oro traído de las Américas en el siglo XVI. Según otra hipótesis, se debe al aspecto dorado que la caracterizaba originalmente.
