Er wurde am 9. Juni 1928 als Yacov Moshe Maza in Sheboygan, Wisconsin, als Sohn von Einwanderern aus Weißrussland geboren, obwohl andere Quellen das Jahr 1931 angeben. Bella (Gitlin) Maza zog mit der Familie in die Lower East Side von Manhattan, wo Yacov entdeckte, dass sein Lebensweg bereits feststand. Nicht nur sein Vater, sondern auch sein Großvater, Urgroßvater und Ururgroßvater waren alle Rabbiner gewesen. Seine drei älteren Brüder wurden Rabbiner und seine zwei jüngeren Schwestern heirateten Rabbiner.
„Es war unerhört, an etwas anderes zu denken“, sagte Herr Mason später. “Aber ich wusste, seit ich 12 bin, dass ich einen Plan haben musste, um hier rauszukommen, denn das ist nicht meine Berufung.”
Nach seinem Abschluss am City College schloss er sein Rabbinerstudium an der Yeshiva-Universität ab und wurde zum Priester geweiht. In einem Zustand zunehmenden Elends pflegte er Versammlungen in Weldon, NC, und Latrobe, Pennsylvania, unglücklich in seinem Beruf, aber nicht bereit, seinen Vater zu enttäuschen.
Um seine Wetten abzusichern, hatte er begonnen, im Sommer in den Catskills zu arbeiten, wo er komische Monologe schrieb und bei jeder Gelegenheit auf der Bühne stand. Dies sei seine wahre Berufung, entschied er, und nach dem Tod seines Vaters im Jahr 1959 fühlte er sich frei, sie unter neuem Namen ernsthaft zu verfolgen.
Anfangs hatte er Schwierigkeiten, spielte in den Catskills und mit wenig Erfolg in obskuren Clubs in New York und Miami. Von Schuldgefühlen geplagt, unterzog er sich einer Psychoanalyse, die seine Probleme nicht löste, ihm aber guten Comic-Stoff lieferte.
Trotzdem fiel es ihm schwer, in die Nachtclubs von New York einzudringen – zum Teil, behauptete er, weil seine Tat dem jüdischen Publikum unangenehm war. „Mein Akzent erinnert sie an einen Hintergrund, den sie zu vergessen versuchen“, sagte er später.