Au XIVe siècle, la ville de Saint-Tropez est ravagée par de nouvelles guerres entre les princes provençaux. En 1441, le gouverneur de la Provence confie la reconstruction de la ville à un architecte génois du nom de Raphaël Pomazio de Garezzio. A cette époque, Saint-Tropez devient une république autonome et un port réputé, notamment pour ses marins.
Débutée en 1542, l'édification de la Tour Jarlier s'achèvera en 1569. Elle sera intégrée dans le plan de la défense du village, qui sera bientôt entièrement fortifié. C'est de cette époque que datent la Porte de la Ponche, la Tour Jarlier, la Tour Veille et la Tour du Portalet, qui matérialiseront les quatre angles des remparts.