C’est le monastère bénédictin le plus important de notre territoire, celui qui eut les plus vastes propriétés foncières et la plus grande juridiction ecclésiastique et civile. Certains érudits (Benedettoni, Bellenghi) accueillirent la tradition qu’il s’agissait à l’origine d’un temple romain, transformé ensuite en une église chrétienne. Mais cette hypothèse n’est pas fondée, bien que l’existence d’un habitat romain, dépendant du municipe voisin de Tufico, puisse être considérée établie, et est démontrée par le nom primitif du monastère (Santa Maria et San Benedetto in fundo Victoriano), un toponyme qui pourrait aussi se rapporter au temple de Jupiter Victor qui fut érigé par les vainqueurs après la bataille de Sentino en 295 avant J.-C.
L’église et le monastère furent bâtis dans la dernière décennie du Xe siècle sur l’initiative d’un groupe de feudataires laïques, qui le rendirent autonome dans les premières décennies du siècle suivant et s’y soumirent partiellement. Il atteint sa plus grande prospérité et puissance au XIIIe siècle, lorsqu’il avait sous sa dépendance plus de quarante églises, châteaux féodaux et biens fonciers, dans les territoires de Fabriano, Genga, Sassoferrato et Roccacontrada. Il tomba en décadence au XIVe siècle, surtout sous le gouvernement simoniaque et mondain de l'abbé Crescenzio, le fils d’Alberghetto I Chiavelli (1308-1348). Dans les dernières décennies du siècle, il fut presque abandonné par les moines, qui préféraient demeurer dans le monastère de San Biagio de Fabriano. En 1406 Chiavello Chiavelli, après avoir reçu l’abbaye et ses biens en location, obtint du Pape sa suppression et son agrégation au monastère olivétain de Santa Caterina di Fabriano ; une partie des biens immeubles fut affectée au monastère de San Biagio avec le titre d’abbaye autonome. Réduite à une "grange" rurale, elle devint ensuite l’église coparoissiale de San Sebastiano di Pierosara, avec un cimetière adjacent, qui fut supprimé par la Surintendance aux Monuments des Marches.
Rien ne laisse penser que l’église soit une restructuration d’un temple romain, car elle possède toutes les caractéristiques d’un édifice sacré du Moyen-âge. Après les diverses restaurations qui ont été réalisées au siècle dernier, l’Eglise apparait comme un authentique édifice roman exemplaire, qui possède des claires références et des lignes architecturales basilicales-paléochrétiennes, lombardes et byzantines. C’est peut-être le monument roman le plus important des Marches (Sassi). Les murs construits avec des blocs de travertin et des matériaux mixtes s’appuient solidement sur le sol, le plan est conçu dans la plus admirable simplicité, les corps de bâtiments s’alignent et se tiennent dans un géométrisme d’une délicate harmonie, la coupole s’élève avec une élégance désinvolte et un vif élan : tous ces caractères, avec d’autres comme les éléments décoratifs, les pilastres, les petites niches, les chapiteaux, la couverture en voûtes et coupole, même si l’église de San Vittore est à plan quadrangulaire, renvoient directement à l’architecture romane. La présence de connotations particulières comme l'évidence des absides et de la tour-lanterne avec des références orientalisantes prononcées peuvent proposer, à un premier abord, une origine de style hybride.
Compte tenu justement de cet entrecroisement, Serra affirme que "la signification essentielle du monument réside dans l’élégance et dans la singularité du plan, empreint d’une grâce rythmique dans la succession des exèdres qui constituent son trait expressif ; dans l’élégance élancée de sa coupole, dans la pureté non contaminée des murs solides et bien construits. En définitive, elle se prévaut à l’intérieur de la cadence lente et persuasive de la musicalité byzantine, et de l'art dans la masse extérieure, délicate et indéfinie". A l'intérieur, elle se présente ainsi : "Quatre grandes colonnes en travertin, surmontées de chapiteaux cubiques, forment le carré central et répartissent l’espace. Neuf travées se déterminent dont huit croisées, légèrement accentuées, déparées ; la médiane avec une coupole hémisphérique à l’intérieur et octogonale à l’extérieur. Le presbytère est surélevé de deux marches dans le mur qui donne sur l’entrée, on y trouve trois exèdres avec une demi-conque appuyées sur une corniche soutenue par des consoles : la centrale avec un siège, les latérales de même structure comme celle qui s’ouvre dans chacun des deux côtés. A gauche, dans le coin antérieur, se dresse une tour cylindrique avec des marches en colimaçon insérées dans une colonne centrale massive, qui conduisent au plan de toiture.
