Ne zna se tačno ko i kada ga je podigao, a prvi put se pominje 1335.godine. Postoje razne legende o poreklu imena grada. Prema jednoj, u mestu je živela lepa devojka po imenu Golubana. Priče o njenoj lepoti stigle su i do turskog paše. Donosio joj je darove ne bi li se udala za njega. Sve je Golubana odbijala, pa je paša naredio da se kazni, tako što ju je vezao za stenu koja je bila u Dunavu. Mučili su je i ostavili pticama koje su unakazile njeno telo. Prema drugoj, u glavnoj kuli, koja dominira gradom, bila je zarobljena vizantijska princeza Jelena, koja je, da bi svoju tugu i samoću ublažila, gajila golubove, po čemu je kasnije grad dobio ime. Ima i onih koji tvrde da ime potiče od divljih golubova  kojih je na liticama bilo puno. Postoje i priče da je grad dobio naziv po izgledu kula na liticama koje deluju kao golubovi na steni. I pored toga što je podignut na visokoj steni, na strmim liticama, menjao je gospodare puno puta. Nalazio se u sastavu države kneza Lazara( mada je po nekim izvorima Srbiji pripadala samo okolina grada) , a posle Kosovskog boja u njega ulaze najpre Turci, a ubrzo zatim zauzimaju ga Mađari. Oni ga 1403.godine predaju despotu Stefanu i po ugovoru je bilo predviđeno da posle despotove smrti (1423.godine) bude vraćen Mađarima zajedno sa Beogradom. Ipak, iz nepoznatih razloga grad je predat Turcima. Postoji mišljenje da je zapovednik grada Jeremija predaju uslovio isplatom 12.000 dukata što mu je, navodno, dugovao despot Stefan Lazarević. Kako mu zahtevi nisu ispunjeni predaje ga Turcima. Od tada pa do 1867.godine Golubački grad se uglavnom nalazio u njihovom posedu.
       Posle prvog svetskog rata kroz tvrđavu je probijen magistralni put, a izgradnjom hidroelektrane Đerdap došlo je do porasta nivoa vode pa su potopljeni niži delovi grada i ostrva. Na ovom mestu Dunav je širok 7 kilometara i neodoljivo podseća na more.                                                                                       Tvrđavu Golubački grad, zidanu od kamena vađenog iz obližnjeg rudnika, čini devet kula visine do 25 metara sa drvenim konstrukcijama i stepenicama koje ih povezuju. Gradom dominira "Šešir kula", kasnije je pridodata topovska kula, a u sredini je izgrađena četvrtasta kula sa kapelom što ukazuje da je tu, verovatno, bio pravoslavni hram.
Prilikom prvih arheoloških istraživanja oktriven je veliki broj predmeta od keramike, gvožđa i drveta, dosta bronzanog i bakarnog novca kao i petnaestak zlatnih novčića.
Sve je tamo neodoljivo, pocev od stazica koje su ispod kule i spustaju se do samog Dunava, preko zvoncica koji rastu iz kamenih zidina, sve ima neku draz i cini da se osetite kao zacarani...