Engelse naam van Franse herkomst. Withycombe noemt als eerste drager van deze naam Esmé Stuart (1542-'83), zesde seigneur d'Aubigny, later hertog van Lennox. Zijn moeder was een française. Waarschijnlijk uit Latijns aestimatus 'geacht' en door de vorm Aymie, waarin de naam vaak voorkwam, ten onrechte in verband gebracht met aimé. De naam ging van de hertog over op zijn zoon en kleinzoon en kreeg daardoor vaste voet in Schotland. Daarna ook in Engeland, vooral ten noorden van de Tweed. Ook vaak als Esme gespeld.