In den Urkunden wird die Burg mit dem Namen „Castello Petroso“ oder „Castrum Petrosum“ erwähnt. Das genaue Datum der Erbauung ist unbekannt, sie erfolgte aber wahrscheinlich vor dem ersten Jahrtausend. Mit der Zeit wurde sie von der Abtei San Vittore abhängig. Im Jahr 1212 trat San Vittore auf Grund schwerwiegender wirtschaftlicher Anlässe die Burg an Fabriano ab, behielt sich aber einige Rechte vor. Außerdem überließ Fabriano Pierosara San Vittore die Hälfte der eingetriebenen Steuern und einige Rechte. Im Jahr 1298 räumte die Abtei Fabriano für die Summe von tausend Ancona-Lire alle Rechte ein. Ungefähr im Jahr 1400 wurden die Burggemäuer durch Erhaltungsarbeiten wieder saniert. Für die Regierung hatte die Burg ein eigenes Statut und wurde von den vier Oberhäuptern geleitet, „die alle zwei Monate aus einer Lostrommel gezogen wurden". Sie war auf jeden Fall eine Fabriano als Lehen angeschlossene Gemeinde und umfasste zehn Dörfer, darunter Camponecchio und Valtreara. Als Napoleon 1809 das Königreich Italien schuf, wurde Pierosara zum festen Bestandteil der Gemeinde Genga, obgleich es weiterhin Lehen von Genga (nicht mehr von Fabriano) genannt wurde und Genga selbst zu einem Lehen von Sassoferrato wurde. Nachdem die päpstliche Autorität und die Grafen an die Macht zurückgekehrt waren, erneuerte Genga seine Autonomie und wurde durch weitere Ortsteile vergrößert.

Vor langer Zeit lernte ein Gutsbesitzer, ein Feudalherr der Burg Rotorscio, ein wunderschönes junges Mädchen kennen, das in der Festung Petrosa lebte. Er war angetan von der Anmut der jungen Schönheit, verliebte sich in sie und beschloss, sie zu entführen. Das Mädchen liebte aber einen gleichaltrigen Schlossherrn namens Piero und war verlobt mit ihm. Eines Nachts schlich sich der Feudalherr ins Festungsinnere und es gelang ihm, das Mädchen namens Sara zu entführen. Die Bewohner des Ortes schlossen die Zugangstore zur Festung und zettelten ein gewaltsames Handgemenge mit den kühnen Rittern des Grafen von Revellone, dem Feudalherren von Rotorscio an. Während der Auseinandersetzung sah sich der Graf zum Aufgeben gezwungen und tötete die schöne Sara, die er in den Armen hielt. Als Piero hinzukam, stürzte er sich auf den Mörder, der aber ein Beil schwang und auch den unglücklichen Jüngling traf, der rücklings niederfiel, neben seine junge Geliebte. Mit einer letzten Umarmung schied er neben ihr hin. Zur Erinnerung an die unglückselige Gräfin und an den traurigen Übergriff wurde die Burg Petroso ab diesem Tag Pierosara genannt.