Les fortifications de Brouage furent élaborées par Robert de Chinon en 1575 et Pierre de Conti, sieur d’Argencourt remania l’enceinte en préservant le tracé de Robert de Chinon, classée monument historique en 1888. Pour tenir sur les marais, la place forte repose sur un plancher flottant de chêne couvert de trois rangées de dalles de pierres cramponnées de fer et supporté par des pieux enfoncés dans la vase et noyés de mortier de chaux.

Les remparts furent édifiés entre 1628 et 1633, et renforcés en 1689. La face extérieure est en pierre de taille, le reste en moellons liés par un mortier sable-chaux. Le haut du rempart est lui fait de briques : souvent détruit lors des attaques par les boulets de canon qui tentaient de passer par-dessus, c’était plus rapide et moins coûteux de reconstruire uniquement le haut en brique.

Ils représentent une sorte de quadrilatère de 2 080 m de périmètre extérieur, renforcé de huit bastions, chacun surmonté de trois échauguettes. L’intérieur des remparts est constitué de pierres de lest sur lesquelles Jacopolis a été fondée.

Plusieurs bâtiments remarquables sont à noter à l’intérieur de l’enceinte de la ville. On note ainsi la présence d’une halle aux vivres dans laquelle on entreposait tout ce qui était en tonneau (vin, bière, viande salée, etc) et le blé. Des hangars de la porte Royale, adossés aux courtines, recevaient les ateliers d’armuriers, de forgerons, les magasins aux bois, aux affûts de canons, écuries, etc. Des forges, adossées au bastion Royal. Des magasins à poudre. Celui de Saint-Luc à quatre arcs-boutants contenait 30 tonnes de poudre, celui de La Brèche, édifié par Vauban en 1692, contenait 20 tonnes. Au final, tout ce qu’il faut pour qu’une citadelle puisse résister en cas d’attaque ennemie.

Deux églises sont présentes à Brouage. L’église Saint-Pierre-et-Saint-Paul est ouverte au culte en 1608, l’année de la fondation de Québec. D’un point de vue architectural, il s’agit d’un édifice de transition entre le style gothique et le style Renaissance. À l’intérieur, des vitraux retracent des épisodes de la fondation de la Nouvelle-France.

L’église Saint-Hilaire, fondée au XII^e siècle, elle est le plus ancien monument de la commune. Construite sur l’ancienne île de Hiers, elle est une église prieurale avant de devenir paroissiale. La façade est la partie la plus récente de l’édifice et ne date que de 1862. Elle intègre un clocher de faible hauteur, surmonté d’une flèche en ardoise.

Les deux églises sont basées sur un plan rectangulaire à trois vaisseaux. Les soldats, pour passer le temps lors de leurs tours de garde, se sont occupés à laisser des traces de leur quotidien sur les murs de la citadelle. Ainsi, un peu partout on trouve des noms, des dates, des visages ou d’autres dessins.

Deux bâtiments disparus ont été reconstruits : la glacière, qui est un puits maçonné d’environ 4 mètres de profondeur, dans lequel on conservait autrefois jusqu’à 22 tonnes de glace recueillie sur les canaux gelés, et le mémorial Champlain avec ses jardins financés par le Québec.