Castel Gresta sorgeva su uno sperone tra Valle San Felice e Pannone e dava il nome all'intera valle. Dalla sua posizione si controllavano i collegamenti tra la Vallagarina e l'altopiano di Gresta.
Del castello restano murature e tracce delle strutture difensive, raggiungibili con un breve sentiero: uno dei punti panoramici più belli del comune.