Le peuplement initial de Beaufort-en-Vallée se situe au lieu-dit « Saint-Pierre-du-Lac », tandis que la butte dominant la vallée de l’Authion est occupée par un oppidum gallo-romain. Au XI ème siècle, le comte d’Anjou Foulque Nerra fait construire un château-fort sur cet emplacement stratégique. Peu à peu, la population se déplace vers la butte afin de se mettre sous la protection du bellus fortis (le beau fort), à l’origine du nom de la ville.
En 1343, Guillaume Roger, seigneur limousin et frère du pape Clément VI, devient le premier comte de Beaufort. Il entreprend une vaste reconstruction du château qui dure une dizaine d’années. La forteresse se compose alors de trois tours carrés reliées par un mur d’enceinte et d’un grand bâtiment rectangulaire dont le premier étage est voûté d’ogives. Au milieu du XV ème siècle, René 1 er d’Anjou acquiert le château et lui ajoute une quatrième tour octogonale dite « tour du Roi René ». Ruinée par les guerres de religion, la forteresse est démantelée au cours du XVII ème siècle. Ses matériaux sont réemployés pour le renforcement des remparts de la ville ainsi que pour la construction du couvent des Récollets.