Sommeren jeg mødte dig foregår i en lille engelsk badeby, hvor mødet med en ung mandfår skæbnesvangre konsekvenser for to hjerteveninders liv og lykke. Der sker ikke meget i den lille søvnige badeby Merham, hvor de to veninder Lottie og Celia vokser op som søstre i 1950’erne. Det er kort sagt et dødkedeligt sted at være næsten voksen, så da en gruppe kunstnertyper indtager byens smukke art deco-hus, Arcadia, tiltrækkes de to piger af det bohemeagtige miljø, som byens spidsborgere har travlt med at sladre om. Det bliver den sommer, hvor pigerne bliver voksne, men også den, hvor der bliver slået et uopretteligt skår i deres venskab. Halvtreds år senere bliver Arcadia igen genstand for byens sladder, da en finansmand vil forvandle det misligholdte hus til et smart badehotel. Under renoveringen vækkes det gamle hus gradvist til live og med det også hemmelighederne om det, der skete den sommer for så mange år siden.