Sul dosso di Montalbano, a pochi passi dal santuario, si trovano le strutture di Castel Albano. La posizione controllava il passaggio lungo l'Adige e l'accesso alla valle di Loppio verso il Garda.
Come molti castelli minori della Vallagarina, perse la funzione militare in età moderna e si trasformò in edificio rurale e devozionale, fondendosi con il complesso del santuario.