Prvá písomná zmienka o hrade je datovaná na rok 1316, to však nevylučuje skoršiu existenciu hradu. Bystrický hrad ako kráľovský majetok spravovali najskôr kráľovskí kasteláni, neskôr ho dal panovník do držby svojim popredným hodnostárom.
Po Matúšovi Čákovi, ktorý sa ho zmocnil násilím, jeho prvým známym držiteľom bol krajinský sudca Alexander Hedervári. Ten dostal hrad darom od Karola Róberta. Alexander Hedervári a jeho syn Mikuláš sídlili na bystrickom hrade v rokoch 1324 – 1354. V priebehu ďalších 70 rokov hrad patril Pavlovi Ugalimu, neskôr haličskému palatínovi poľského pôvodu Sudivojovi z Ostrorogu, potom Ctiborovi z Beckova a jeho synovi.
Významným vlastníkom hradu bola rodina Podmanickovcov, ktorá hrad spravovala celé jedno storočie. Ladislav Podmanický bol kapitánom vojska Mateja Korvína a dostal od neho hrad spolu s priľahlým panstvom pre seba a svojich potomkov v roku 1458. Po ďalšie generácie Podmanickovci rozširovali svoje majetky. Významnú rolu tu zohrali bratia Rafael a Ján. Po moháčskej bitke v roku 1526 boli v Uhorsku korunovaní dvaja panovníci – Ján Zápoľský a Ferdinand Habsburský. Šľachta sa tak rozdelila na dve strany. Rafael a Ján boli prívržencami Jána Zápoľského, za čo im on udeľoval donácie a toleroval ich konanie. Bratia viedli svojvoľnú politiku škodiacu ako pospolitému ľudu, tak drobným zemanom, čím vyvolávali konflikty. Tie vyvrcholili potom, čo obsadili niekoľko majetkov svojich protivníkov, ktorí ich žiadali späť. Uhorský snem v roku 1542 vyhovel sťažnostiam a bratom dal ultimátum, že buď vrátia majetky pôvodným majiteľom, alebo budú odsúdení do vyhnanstva. Bratia prisľúbili majetky vrátiť a zložili prísľub vernosti Ferdinandovi Habsburskému. O tri roky ďalší snem zrušil rozsudok exilu. Ján po svojej smrti odkázal všetko Rafaelovi. Ten naďalej obhajoval svoje záujmy a majetky vracal zdĺhavo. Oženil sa s Janou z Lomnice, ktorej odkázal celé svoje vlastníctvo. Po jeho smrti v roku 1558 jej však po roku panovník a kráľovská komora neprávom majetok odobrali a postupne rozpredali bez návratu odškodného.
Nasledovným majiteľom hradu sa stal Gašpar Šerédy. Čoskoro zomrel, bez potomkov, a jeho žena si o pár rokov vzala za manžela Andreja Balašu. Bystrický hrad Balašovci spravovali od roku 1571 do roku 1701. Andrejov syn Imrich, ženatý s Juditou Bosňákovou, nechal postaviť v roku 1631 renesančný kaštieľ na južnom úbočí hradného vrchu, ktorý stojí dodnes.
Počas boja Viedne proti vešeléniovskému sprisahaniu došlo k poškodeniu hlavného trojposchodového Bystrického hradu a časti dolného hradu zo severnej strany. Aj keď poškodenie nebolo príliš veľké, z hradu boli odnesené delá a ostatná výzbroj do novej leopoldovskej pevnosti. Na prelome storočí došlo ku konfiškácií hradu z rúk Balašovcov ako trest za ich účasť v protihabsburských povstaniach.
Z konfiškačného súpisu možno vyčítať vtedajšiu podobu hradu. Na konci 17. storočia hradný areál teda pozostával z dolného, stredného a horného hradu. V strednom hrade bola cisterna na vodu a jediná priestranná miestnosť. V hornom hrade sa nachádzali panské izby, spálne a menšie izbietky. Na vnútornom nádvorí bola arkádová chodba so stĺpmi z dubového dreva. Na prízemí horného hradu sa nachádzali pekáreň, kuchyňa, tri priestranné zásobárne, práčovňa, umyváreň a štyri kúpeľne.
V rokoch 1701 – 1830 Bystrický hrad vlastnili Sapáryovci. Vynikol z nich Peter Sapáry, ktorý bojoval proti Turkom, vyznamenal sa proti thökölyovským povstalcom a získal tak barónsku hodnosť. Za 85 000 zlatých získal majetkový podiel Adama Balašu. Jeho syn Peter sa oženil s Teréziou Balašovou, a tak získal aj druhú časť hradu a panstva. Peter Sapáry sa ujal hradu i oboch kaštieľov pod ním. Väčší kaštieľ, nachádzajúci sa pod hradným vrchom z juhovýchodnej strany, zrenovoval, čiastočne prestaval a vyvolil si ho za hlavnú rezidenciu. To spôsobilo, že hrad zostal neobývaný a opustený. V priebehu 18. a 19. storočia čoraz viac, až do dnešných časov.
Hrad stojí na najvyššom mieste mohutného brala. Prístup do hradu zo západnej strany chránil múr so strieľňami. Nad portálom do dolného hradu sa týčila mohutná bašta. Hrad, zastrešený šindľami, mal tri poschodia a patril medzi väčšie dobre opevnené stavby tohto druhu.