E' il monastero benedettino più importante del nostro territorio, quello che ebbe maggior estensione di possessi fondiari e più ampia giurisdizione ecclesiastica e anche civile. Alcuni eruditi (Benedettoni, Bellenghi) accolsero la tradizione che fosse in origine un tempio romano, trasformato poi in chiesa cristiana; ma l'ipotesi non ha fondamento, sebbene l'esistenza di un abitato romano, dipendente dal vicinp municipio di Tufico, possa considerarsi accertata, ed è dimostrata dal primitivo titolo del monastero (S.Maria e S.Benedetto in fundo Victoriano), toponimo che potrebbe anche riferirsi al tempio di Jupiter Victor eretto dai vincitori dopo la battaglia di Sentino del 295 a.C.
Chiesa e monastero sorsero nell'ultimo decennio del sec. X per iniziativa di un consorzio di feudatari laici, i quali nei primi decenni del secolo seguente lo resero autonomo ed in parte ad esso si sottomisero. Raggiunse la maggiore floridezza e potenza nel sec. XIII, quando ne dipendevano oltre quaranta chiese, castelli feudali, beni fondiari, nei territori di Fabriano, Genga, Sassoferrato, Roccacontrada. Decadde bel sec. XIV, soprattutto durante il governo simoniaco e mondano dell'abbate Crescenzio figlio di Alberghetto I Chiavelli (1308-1348). Negli ultimi decenni del secolo fu quasi abbandonato dai monaci, i quali preferirono dimorare nel monastero dipendente di S.Biagio di Fabriano. Nel 1406 Chiavello Chiavelli, dopo aver avuto in affitto l'abazia e i beni, ne ottenne dal Pontefice la soppressione e l'aggregazione al monastero olivetano di S.Caterina di Fabriano; parte dei beni immobili fu assegnata a S.Biagio col titolo di abazia autonoma. Ridotta a "grangia" rurale, divenne poi chiesa comparrocchiale di S.Sebastiano di Pierosara, con annesso cimitero, che fu tolto dalla Soprintendenza ai monumenti delle Marche.
Niente fa pensare che la chiesa sia una ristrutturazione del tempio romano, ha tutti i caratteri di un edificio sacro medioevale. La Chiesa appare dopo i vari restauri effettuati in questo secolo un esemplare e genuino edificio romanico, che ha riferimenti chiari e linee architettoniche basilicali-paleocristiane, lombarde e bizantine. E' forse il monumento romanico più importante delle Marche (Sassi). La massa murario costruita con blocchi di travertino e materiale misto poggia solidamente sul suolo, la pianta è ideata nella più ammirabile semplicità, i corpi di fabbrica si allineano e reggono in un geometrismo di delicata armonia, la cupola si eleva con disinvolta eleganza e vivo slancio: tutti questi caratteri, uniti ad altri quali gli elementi decorativi, le lesene, le nicchiette, i capitelli, la copertura a volte e cupola anche se edificio a pianta quadrangolare, come questo di S.Vittore, rimandano direttamente all'architettura romanica. Le presenze di particolari connotazioni come l'evidenziarsi delle absidi, il risalto del tiburio con marcati riferimenti orientaleggianti possono proporre, a prima vista, una collocazione stilistica ibrida.
Proprio in considerazione di questo intreccio il Serra afferma che "la significazione essenziale del monumento sta nella leggiadria e nella singolarità della pianta, improntata di grazia ritmica nel succedersi delle esedre che ne costituiscono il lineamento espressivo; nella snella eleganza della cupola, nella purità non contaminata della salda e ben costrutta compagine muraria. In sostanza all'interno essa s'avvale della cadenza lenta e suasiva della musicalità bizantina e l'arte nella massa esterna, delicata e vaga". All'interno così si presenta: "Quattro grandi colonne di travertino, sormontate da capitelli cubici, formano il quadrato centrale e ripartiscono il vano. Si determinano nove campate di cui otto a crociera, leggermente accentuate, disadorne; la mediana con cupola emisferica internamente, ottagona all'esterno. Il presbiterio è sopraelevato di due gradini nella parete prospicente all'ingresso, ivi sono tre esedre con semicatino poggiati su una cornice sorretta da mensole: la centrale con sedile, le laterali di analoga struttura come quella che si apre in ciascuna delle due fiancate. A sinistra, nello spigolo anteriore, si erge una torre cilindrica con gradini a chiocciola innestati in una massiccia colonna centrale, essi conducono al piano di copertura.
