De twee aan Vlissingen grenzende dorpen Oost- en West-Souburg en Ritthem vormden al vanaf de stichting van Vlissingen in 1315, de grootste obstakels voor uitbreiding van de stad. Het grondgebied van de gemeente was slechts acht vierkante kilometer groot, voldoende voor ongeveer 25.000 inwoners maar lang niet voor de 80.000 die in de jaren zestig van de vorige eeuw werden verwacht. Vlissingen was sinds 1954 druk doende om de dorpen te annexeren en had in 1958 een eigen Structuurplan opgesteld waarin Souburg en Ritthem een belangrijke rol speelden. Een van de argumenten van het gemeentebestuur was dat Vlissingen de lasten droeg van de groeiende industrie, maar dat de werknemers in groten getale in de twee dorpen gingen wonen omdat die dicht bij Vlissingen-Oost lagen. Uiteindelijk werd in 1966 door de Tweede kamer besloten dat Vlissingen de dorpen mocht annexeren. Hiermee werd Vlissingen uitgebreid met twee zeer oude woonkernen, veel ouder dan de stad zelf. Ritthem als bewoonbaar gebied bestond zelfs al in de Romeinse tijd. In Ritthem is Romeins aardewerk gevonden uit het laatste kwart van de eerste eeuw na Christus. In 1972 zijn er lagen zoute as ontdekt uit deze periode. Dit was een halfproduct van de zoutnering dat ontstond na het verbranden van de zoute veengrond.
De oorsprong van de naam Ritthem is niet duidelijk. Dat Rit- een verbastering zou kunnen zijn van het woord riet is aannemelijk. Net als veel andere dorpen en steden op Walcheren, waaronder Vlissingen, lag de eerste bebouwing van Ritthem op een kreekrug, omringd door zeewater. In de monding was de kreek onderhevig aan de getijdenstromen, landinwaarts werd het wat rustiger en kan riet hebben gestaan. Rit- kan echter ook verwijzen naar sloot of waterloop. Het achtervoegsel -hem betekent woonplaats of buitendijks land.
Ritthem, waartoe ook de gehuchten Welsinge en Nieuwerve behoorden, is in de loop van haar lange geschiedenis altijd klein gebleven en wisselde nogal eens van eigenaar. In 1596 en 1607 kwam het dorp in het bezit van de Middelburgers, die de vaarweg naar de rivier de Schelde veilig wilden stellen. Het grondgebied van Ritthem grensde immers aan de Arne en het Sloe. Middelburg had het dorp gekocht van een lokale adellijke familie: de heren van Nieuwerve. In de achttiende eeuw kwam het weer in handen van particulieren. Vanwege haar ligging had Ritthem het tijdens de Tweede Wereldoorlog en vooral de bevrijdingsperiode, flink te verduren. Als gevolg van vele zware bombardementen van de geallieerden werden 117 van de 184 woningen vernield. Tijdens en na de inundatie lagen 150 percelen in overstroomd gebied, sommigen zeer lange tijd. Van de watersnood in 1953 had Ritthem weinig last, ook al was dat op het nippertje: de vloed stond tot aan de kruin van de inlaagdijk uit 1678 die nog nooit dienst had gedaan als stormvloedkering, maar het nu net hield. In het jaar van de annexatie door Vlissingen telde Ritthem ruim 500 inwoners.