Il vero nome, Castiglion Balzetti, è citato per la prima volta negli statuti senesi del 1262. Apparteneva infatti all’agostiniano Baldino Balzetti, il suo primo proprietario. Su questo castello magico e misterioso ci sono pochissime fonti storiche.
Sappiamo che alla fine del duecento era sotto la giurisdizione senese perché ricevette una condanna per non aver inviato fanti al servizio del Comune. Però, da un altro documento del 1271, risulta anche che Siena non inviava un proprio rettore al castello, riconoscendo quindi una certa autonomia politica e giurisdizionale ai signori locali: forse già la potente famiglia senese dei Saracini, che da un documento del 1318 risulta proprietaria della fortezza, di molte delle terre e vigneti circostanti e di un mulino, lungo il fiume Merse.
Il Castello, come i villaggi vicini di Orgia e Brenna, subì vari saccheggi nel corso del XIV secolo e, con la fine della Repubblica Senese, andò progressivamente in rovina fino ad essere del tutto abbandonato e dimenticato.