Während seine Leistung in Georgia für die afroamerikanische Gemeinschaft und den Golfsport bahnbrechend war, musste Elder während seines Aufenthalts die Unterkunft wechseln, nachdem er Morddrohungen erhalten hatte.
Trotz des Hasses, der ihm entgegenkam, beschrieb der Texaner die Behandlung, die er bei seinem Masters-Debüt von den Augusta-Gönnern erhielt, als „enorm“.
Er sagte: „Jedes Grün, das ich betrat, war der Applaus einfach gewaltig. Ich meine, jeder von ihnen rief: ‚Geh Lee! Viel Glück Lee!'”
Elder spielte im Laufe seiner Karriere sechs Mal das Masters, wobei sein bestes Ergebnis 1979 mit dem 17. Platz erzielt wurde.