À l'âge de quinze ans, Jim Bishop achète pour quatre cent cinquante dollars un terrain situé à 2700 m d'altitude dans la « forêt nationale de San Isabel » au Colorado. C'est de l'argent économisé en distribuant les journaux. Il convainc ses parents de faire la transaction pour lui. Les premières années, le terrain sert de lieu de camping pour la famille.
Jim construit une cabane sur le terrain, mais il a besoin d'eau. Il entreprend la construction d'un réservoir d'eau. Il s'agit d'un cylindre d'une hauteur de 13 m entouré de pierres. Les amis lui demandent à la blague s'il construit un château. Il n'en fallait pas plus. En 1972, il entreprend la construction d'un château. La première structure est une maison ne comptant qu'une pièce. Au fil des années, il ajoute des pièces.
Bishop travaille à la boutique de ferronnerie ornementale de son père. Les matériaux utilisés pour la construction sont la pierre, le bois, le béton et, bien entendu, le fer provenant de la ferronnerie. Les sources de financement sont une petite boutique de cadeaux(quelques années plus tard) et une boîte de don. Il lui arrive de recevoir des matériaux, dont des cloches en 1994. L'année suivante, il construit un clocher.
Plus de quarante ans plus tard, il travaille toujours à la construction de son château. Son but est au moins de terminer le château avant de mourir. Mais il ajoute « jusqu'à la fin de mes jours, je vais continuer à grossir et agrandir le château. »
Après de nombreuses années de discussion, la chambre de commerce du Colorado et le gouvernement ont ajouté le château parmi les sites touristiques. L'accès au site est gratuit.