В документах замок упоминается под названием Кастелло Петрозо или Кастелум Петрозум. Точная дата его возведения остается загадкой. Предположительно, она относится к первому столетию нашей эры. Изначально замок находился во владении аббатства Сан Витторе, а затем был частично передан в собственность Фабриано. В 1298 году Аббатство продало Замок и все права на него Фабриано по цене 1000 анконских лир. Приблизительно в 1400 году были проведены работы по восстановлению крепостных стен. Замок имел свой устав и своего управляющего, который избирался раз в два месяца по жребию. Замок был в подчинении коммуны Фабриано и состоял из десяти поселений, таких как Кампонеккио и Вальтреара. Когда в 1809 году Наполеон основал Королевство Италия, Пиеросара стала неотъемлемой частью коммуны Дженга, зависимой тогда от Сассоферрато. Независимость коммуна приобрела после возобновления папского правления.

Когда-то очень очень давно немолодой граф из Кастелло ди Роторшио без памяти влюбился в красавицу из соседней Рокка Петроза по имени Сара. Но безответными оказались его чувства: Сара была обещана в невесты и влюблена в молодого паренька Пьеро. Девушка была настолько хороша собой, что граф все-таки решился на коварное злодеяние: поздно ночью, тайно проникнув в Рокка Петроза, он похитил Сару. Жители Рокка пришли в ярость и напали на правителя Роторшио, графа ди Ревеллоне, и его конную армию. Предвидя неминуемое поражение, граф убил свою пленницу, молодую красавицу из Рокка Петроза. Пьеро стал свидетелем этого коварного действа и набросился на злодея, пытаясь отомстить за смерть любимой, но потерпел поражение в схватке, и был убит. В память о злополучной расправе над несчастными влюбленными Кастелло Петрозо с того дня было присвоено название Пьетросара