Salvia rosmarinus wird heute als eine von vielen hundert Arten der Gattung Salvia angesehen. Früher wurde sie in eine viel kleinere Gattung, Rosmarinus, gestellt, die nur zwei bis vier Arten enthielt, darunter Rosmarinus officinalis, die heute als Synonym von Salvia rosmarinus angesehen wird.
Der Name Rosmarin bzw. Rosmarinus kommt vom lateinischen ros marinus (Genitiv roris marini) und bedeutet „Tau (ros) des Meeres (marinus)“, also „Meertau“. Als Begründung wird oft angeführt, dass Rosmarinsträucher an den Küsten des Mittelmeeres wachsen und nachts sich der Tau in ihren Blüten sammelt. Eine ältere Deutung der Herkunft des Namens ging auf den griechischen Begriff rhops myrinos (balsamischer Strauch) zurück. Dazu gehört auch ein möglicher namenskundlicher Zusammenhang der griechischen Wörter libanotis (Rosmarin) und libanos (Weihrauch).