La chiesetta di San Fermo fu eretta nel XV secolo, con un’annessa piccola abitazione. Il promontorio su cui sorge il sacro edificio si eleva di fronte all’isola di Garda, in una suggestiva posizione che regge ben pochi confronti nella regione benacense.

Antiche testimonianze scritte attestano la presenza in quest’area di un importante castello medioevale distrutto nel 1279. Tuttavia gli studiosi hanno pareri discordi riguardo all’esistenza di tale fortificazione denominata Scovolo.

Nel corso dei secoli il luogo fu oggetto di accese dispute riguardanti la proprietà, rivendicata dalla Pieve di Manerba, dai frati dell’isola del Garda e dai Comuni di San Felice e Portese. Secondo la tradizione, le contese si risolsero con una specie di patto formale secondo il quale la chiesa fu assegnata al paese di Portese con il diritto di celebrarvi una messa il 9 agosto festa di San Fermo ed un’altra nella seconda domenica di luglio per confermare il legame con la parrocchia di S. Giovanni di Portese.

Tuttavia, a causa del disinteresse e dell’incuria dei sacerdoti locali, il tempietto finì con l’esser trascurato, cosicché il territorio di S. Fermo divenne proprietà del Demanio. In seguito, il parroco di Portese don Lucillo Bonetti, appassionato sostenitore del culto, si adoperò in ogni modo per sensibilizzare i suoi parrocchiani a tener viva la tradizione della festa di San Fermo e a conferire decoro al piccolo santuario.
Dopo alterne vicende, il 18 aprile 1960 la chiesetta di San Fermo venne solennemente riconsacrata dal vescovo di Verona. Osserviamo ora il tempietto nel suo insieme. La linea architettonica è quella semplice del periodo di transizione fra romanico-gotico e rinascimentale, ad aula unica con costoloni trasversali che sostengono il tetto. L’unico affresco rimasto appare nell’abside: raffigura San Fermo ed è attribuito a Giovanni da Ulma.
Il restauro effettuato negli ultimi decenni del secolo scorso comportò il consolidamento dei muri perimetrali, ma -secondo alcuni studiosi- l’interno perse la sua originalità. L’altare maggiore era unito alle pareti laterali dell’abside mediante un’intelaiatura in legno di due porticine comunicanti con il coro.

La chiesa custodiva due preziosi dipinti su tela: il primo, ora conservato nella parrocchiale di S. Giovanni, è firmato Carlo Baciocchi 1663 e rappresenta S. Antonio da Padova con Bambino e Angioletti; l’altra tela, attribuita al pittore locale Andrea Bertanza, raffigura S. Lorenzo con il ferro del martirio e altri Santi; in alto era rappresentato il trionfo della Vergine con il Bambino, ma questa parte, nel 1972, fu tagliata ed asportata da ignoti.