Capisco. Beh, per prima cosa, dalla sella ci si può anche alzare ogni tanto

Per seconda, 4 ore per la salita dello Stelvio sono davvero troppe... parliamo di valori di VAM intorno a 450m. e velocità media di 6km/h, praticamente a passeggio (a piedi).
Comunque, aldilà del caso specifico, probabilmente dovresti rivalutare la tua posizione in bici, l'abbigliamento, la sella... o un mix di tutti questi fattori. Soffrire così tanto dopo alcune ore in bici, se mediamente allenati e al netto di eventuali patologie (altro discorso), è sintomo di qualche cosa che non funziona a dovere nell'interfaccia bicicletta/ciclista.