Cagli liegt am beeindruckendsten Abschnitt der alten Römerstraße Via Flaminia, zwischen den Wäldern und Kastanienpflanzungen, die nach Umbrien führen.
Von den Römern gegründet, gehörte Cagli im Mittelalter den Grafen von Montefeltro und wurde in deren Kämpfe verwickelt. Die Herren von Urbino bauten hier eine große Festung (Entwurf von Giorgio Martini, Ende 15. Jh.), aber sie zogen es vor, sie zu zerstören, anstatt sie in die Hände ihrer Feinde, der verhassten Borgia, fallen zu lassen. Der einzige übrig gebliebene Teil der Burg ist der ellipsenförmige Wachturm, heute ein Zentrum für moderne Plastik. Auch das Rathaus aus dem Jahr 1476 ist ein Werk von Francesco di Giorgio Martini.