Die Burg entstand in der zweiten Hälfte des 13. Jahrhunderts zum Schutz der Wege zum Kloster Hronský Beňadik und in die heute mittelslowakischen, damals niederungarischen Bergstädte. Im Mittelalter und in der Neuzeit wechselte die Burg oft den Besitzer, hierzu gehörten der OligarchMatthäus Csák, die ungarische Krone, die Abtei von Hronský Beňadik sowie mehrere Adelsfamilien, wie Lévai, Becse und Sárai. Den mittelalterlichen Kern bildeten ein gotischerPalas und eine Befestigung mit einer runden Bastion. Nach einem Brand im Jahr 1434 wurde die Burg wieder errichtet.
Historische Abbildung der Burg, 1661
Wegen der osmanischen Überfälle nach der Schlacht bei Mohács kam es im 16. Jahrhundert zu reger Bautätigkeit. Man errichtete eine steinerne Befestigung mit Artillerie, auf der Nordseite eine Artilleriebastion, ein einstöckiges Gebäude auf der Südseite und später auch ein Renaissance-Landschloss im unteren Hof (1571). Schon 1543 wurde die Burg zu einer der 15 antitürkischen Festungen erklärt. Auch dank der Befestigungsarbeiten scheiterte im Jahr 1578 ein direkter osmanischer Angriff auf die Burg. Wiederholte Befestigungsarbeiten im 17. Jahrhundert ergänzten die Festung um weitere Burgmauern mit Eckbastionen. Die Osmanen eroberten die Festung 1663 kampflos, die kaiserliche Armee unter de Souches gewann aber bereits ein Jahr später nach der Schlacht von Lewenz die Burg zurück und befestigte sie wieder.
Nach erbitterten Kämpfen zwischen Rákóczis Kuruzen und den Kaiserlichen wurde die Burg im Februar 1709 schwer beschädigt und nie wieder im vollen Umfang aufgebaut. Die ungarische Adelsfamilie Esterházy nutzte einige Gebäude als Lagerräume, nachdem sie die Burg erworben hatte.
In den 1970er Jahren konservierte man die Ruinen der oberen Burg und die Befestigung und brachte im Landschloss ein regionales Museum(Tekovské múzeum) unter.