Hrad je pravděpodobně královského založení, i když počátky jeho dějin nejsou doloženy. První písemná zmínka o Zbořeném Kostelci (původně se jmenoval Kostelec nad Sázavou) pochází až z roku 1341, kdy jej král Jan Lucemburský dává do zástavy Oldřichu z Valdeka, majiteli sousedního Týnce.