Nella Bolla di Onorio II, datata 28 Novembre 1125 dal Laterano, si elencano le chiese di Castro e per la prima volta si fa menzione della chiesa di S. Oliva, realizzata attigua alla rocca.
L'altare maggiore fu consacrato nell'anno 1537 da allora vescovo di Veroli, poi cardinale, Ennio Filonardi.
Decorosa nella sua veste interna, non priva di solennità e di qualche ricchezza di marmi, merita anche per le sue cappelle laterali e le pitture che la adornano.
L'esterno non presenta nulla di interessante se non il campanile che purtroppo è stato alterato dall'intonaco che ne ha ricoperto l'antica struttura.
L'arco o sottopassaggio, che il campanile sovrasta, conserva tracce evidenti della vecchia costruzione ed una piccola finestra in tufo ad arco acuto ne attesta l'antichissima origine.
Di notevole pregio estetico si presenta il portale in bronzo, donato dall'arciprete Don Mario Avallone, a ricordo del 45° anno della sua ordinazione sacerdotale e della sua venuta a Castro dei Volsci. 1945-1990.
Entrando dal portone principale troviamo, a destra, il Battistero e una grande nicchia con la statua della Santa titolare.
Il più antico simulacro in legno è stato sostituito nel 1912 con l'attuale statua che spicca nel trono di metallo dorato con il quale viene portata in processione il giorno della sua festa (3 giugno).
La cappella di destra è dedicata alla natività, segue l'altare dedicato a S. Lorenzo martire.
A sinistra, entrando, un'altra nicchia, analoga a quella di destra, racchiude la Madonna Addolorata, opera lignea alto-atesina, di recente acquisto, più in basso, in apposito riparto, il Gesù Deposto.
Seguono la cappella della Crocifissione, quadro del pittore Odoardo Righi da Ceprano e quella della Madonna delle Grazie con antica tela raffigurante la Vergine col Bambino.
Chiude la navata di sinistra la Cappella del Rosario con ricco altare di marmo e quadro riproducente la Vergine di Pompei.
L'altare maggiore contiene, a vista dietro un vetro protettivo, lo scheletro rivestito in cera plasmata di S. Giustino.
A sinistra dell'altare, all'interno di un armadio murale con le ante in vetro, sono custodite la reliquia della protettrice di Castro e le reliquie dei più conosciuti santi della cristianità.
L'elenco di tutti questi sacri resti è conservato nella sacrestia della chiesa.
La devozione dei castresi nella loro Patrona risale al più antico Medioevo.
La festa di S. Oliva si celebra, ai giorni nostri, il 3 giugno, anticamente essa veniva venerata il 15 gennaio (festa "de Santa Oliva Vecchia").