Les anciens documents le citent comme Castello Petroso ou Castrum Petrosum. mais on ne connaît pas précisément la date de sa fondation qui a eu lieu, probablement, avant l’an mille. Avec le temps, il devint dépendant de l’Abbaye de San Vittore. En 1212, à cause de contingences économiques difficiles, celle-ci céda le Château à Fabriano, en se réservant de toute manière certains droits. Fabriano cédait, entre autres, à Pierosara la moitié des impôts encaissés et certains droits en faveur de San Vittore. En 1298, l'abbaye concéda tous les droits à Fabriano pour la somme de mille lires anconitaines.

En 1400 environ, les murs du château furent récupérés avec des travaux de conservation. En ce qui concerne le gouvernement, le Château avait son propre statut et était gouverné par quatre chefs "extraits du gobelet tous les deux mois". Il s’agissait, de toute manière, d’une commune agrégée à Fabriano et qui comprenait dix villages, parmi lesquels Camponecchio et Valtreara. Lorsque Napoléon forma le Royaume d’Italie, en 1809, Pierosara devint partie intégrante de la commune de Genga même si on continuait à l’appeler fief de la Genga (et non plus de Fabriano) et Genga elle-même se transforma en fief de Sassoferrato. L’autorité pontificale ayant été rétablie et les Comtes étant revenus au pouvoir, Genga renouvela son autonomie et fut agrandie d’autres hameaux.

Légende locale
Un jour lointain, un petit seigneur, feudataire du Château de Rotorscio, connut une belle jeune-fille qui habitait dans le Château Petroso. Fasciné par sa grâce, il s’éprit d’elle et décida de la ravir. La jeune-fille était amoureuse et fiancée à un autre châtelain, qui avait le même âge qu’elle, appelé Piero. Une nuit, le feudataire s’introduisit dans le château et réussit à ravir la jeune-fille qui s’appelait Sara. Les habitants du lieu fermèrent les portes d’accès au château et entamèrent un violent corps à corps avec les cavaliers de la suite du comte de Revellone, feudataire de Rotorscio. Durant la bagarre, le comte, se voyant contraint à la reddition, tua la belle Sara qu’il tenait dans ses bras. Arrivé, Piero se rua sur le meurtrier, lequel, brandissant une hache, frappa aussi le malheureux jeune-homme qui tomba à la renverse à côté de sa jeune bien-aimée et, l’enlaçant une dernière fois, expira à ses côtés. En souvenir de cette funeste dispute et de cette triste violence, le Château Petroso, depuis ce jour, prit le nom de Pierosara.