Gorges trouve son origine dans la langue d’Oïl, langue romane parlée dans une moitié nord de la France, dont le mot « Gor » signifiait gouffre ou ravin, caractérisant le relief du village.
L’église Sainte Marie Madeleine de 1869 a préservé un très joli portail d’entrée en pierre blanche avec des colonnes surmontées de très jolis chapiteaux sculptés. Elle conserve plusieurs statues classées aux Monuments Historiques datant essentiellement du XVIème siècle.
Présence d’une savonnerie artisanale (fabrication au lait de jument).