È una fortezza in arenaria con una cinta poligonale di oltre 400 metri e un mastio quadrangolare di circa 20 metri. La chiesetta di San Michele Arcangelo è citata già nel 1191. Il castello entra nei documenti nella seconda metà del Trecento, durante le lotte interne di Gubbio. Nel 1388 apparteneva alla famiglia Raffaelli.
La sua leggenda è letteraria. Secondo una tradizione antica, Dante esule fu ospite qui del conte Bosone Novello Raffaelli e vi avrebbe scritto parte della Commedia. Si parla di una terzina del canto XI del Paradiso, quello dedicato a san Francesco. Bosone è un personaggio reale: fu podestà di Arezzo nel 1316–17 e senatore di Roma nel 1338. Gli storici però sono cauti. Il Dizionario Biografico degli Italiani (Treccani) osserva che non esiste alcun documento autentico di un soggiorno di Dante a Gubbio. Secondo la voce, la tradizione nacque probabilmente da campanilismo o da interessi di famiglia.
Nel 1528–31 il castello passò ai Canonici della Cattedrale. Nel 1888 andò al principe Giulio Torlonia e nel 1898 fu dichiarato monumento nazionale.