De naam wordt gewoonlijk afgeleid van Latijns olivarius 'olijfboom(planter)'; zie Olivia. Het is echter mogelijk dat het een 'Angleichung' is uit een reeds bestaande Germaanse naam, bijvoorbeeld een alf-naam (zie alf-), met als tweede lid -heer 'leger' (zie -her-). Volgens sommigen is het oorspronkelijk de Oudnoorse naam Anleifr, Olafr (zie Olaf). Ook Littger (206) acht Germaanse invloed aanwezig, met name Alf-hari is aangenomen. Alf- kwam echter niet voor in de Germaanse namen in Frankrijk in de 6e-12e eeuw, daarom zou voor het eerste lid Wolf- waarschijnlijker zijn. Dit element kon in het Romaans tot Olf- worden, en -hari tot -heri, Lat. -herius. Verder is invloed van Latijns Olivarius mogelijk. Reeds vroeg in de Middeleeuwen is de naam populair onder invloed van de Karelromans, waarin Olivier een van de paladijnen is, vaak in een adem genoemd met Roeland (vandaar dat men in de Middeleeuwen wel broers met deze beide namen aantreft). Bij Socin: Oliverus, Keulen 1201; Rheinland (Littger) omstreeks 1100. Ook in de Middeleeuwen in Frankrijk voorbeeld van de naam (1292), Lebel (103); Kortrijk omstreeks 1400 (Debrabandere): Olivier, Oluvier, Fierkin, Fierin; ook in Dordt 1284-87 (SRD); Amstelveen 1320: Olivier de Lombarder; Rotterdam 1426: Claes Oliviersz (SR 19); Dordrecht 1580 Roelant (!) Olifiersz (GD 119). In Engeland gebruikte Shakespeare de naam in 'As you Like it', maar de naam wordt waarschijnlijk onder invloed van Oliver Cromwell lange tijd minder populair. In de 19e eeuw komt hij echter weer op. Dickens' Oliver Twist wijst erop dat de naam in Engeland bij lagere standen nooit geheel uitgestorven is.