Der Ausbau der Volterraio-Festung bedeutete eine erhebliche Behinderung für die Seeräuber. Die Ursprünge der Anlage sind ungeklärt: man vermutet etruskische Fundamente unter der heutigen Burg, römisches Geschirr wurde vor Ort gefunden, was die These erhärten könnte. Es heißt, die sagenumwobene etruskische Königin llva habe an dieser Stelle eine Burg errichten lassen, die jedoch später geschleift wurde. Ebenso im Dunkeln liegt die Herkunft des Namens "Volterraio". Geht er auf das etruskische "ful-tur" (hoher Fels), auf das lateinische "vultur" (Geierhorst) zurück oder bezieht er sich auf den Ort Volterra, von wo der Architekt Vanni di Gherardo Rau stammte, der die Turmarbeiten im 13. Jahrhundert an der Festung vornahm?
Zunächst im 13. Jahrhundert haben es die Piraten also nur mit dem alleinstehenden Turm zu tun, der kaum einzunehmen ist, da er auf der Spitze des 400 m hohen Berges steht, dessen Steigung im letzten Teil etwa 40 % beträgt. Im 15. Jahrhundert sodann wird der Turm weiter befestigt und die Anlage ausgebaut und zu einer Festung erweitert.