Als er in der Kettenbande war und an einer Straßencrew arbeitete, fiel ihm eine junge Frau, Patsy Gammage, auf. Es gelang ihm, eine Korrespondenz mit ihr aufzunehmen, und sie heirateten, nachdem er 1974 aus dem Gefängnis entlassen worden war. Sie wanderten nach Norden aus – zuerst nach Rochester, NY, dann nach Connecticut, wo Herr Rembert Arbeit als Hafenarbeiter in Bridgeport fand. Sie ließen sich 1987 in New Haven nieder.
Er hatte immer gern gezeichnet. Im Gefängnis hatte er gelernt, wie man mit Werkzeugen und Farbstoffen in Leder arbeitet, und er fing an, kleine Gegenstände wie Brieftaschen herzustellen.
Er gab seinen Freunden Philip und Sharon McBlain ein kleines Lederbild, das sie an die Wand ihres Antiquariats in der Nähe von New Haven hängten. Herr Rembert hatte das Bild aus einem Buch nachgezeichnet, weil er nicht glaubte, dass Weiße seine eigene Arbeit kaufen würden, sagte Herr McBlain in einem Interview.
Aber das Stück wurde für 300 Dollar verkauft. Herr McBlain gab das Geld an Herrn Rembert, der ein größeres Bild schuf, das für 750 Dollar verkauft wurde. Die McBlains besorgten ihm Leder und Werkzeuge, und Mr. Remberts Frau drängte ihn, Bilder aus seinem eigenen Leben zu schnitzen.
Mit 51 Jahren begann er, seine Erinnerungen auszugraben. Mit Klingen aus Elfenbein und einem Holzhammer reproduzierte er – akribisch – seine Beinahe-Lynchmorde und Banden von Gefangenen in ihren Zebrastreifenuniformen mit Vorschlaghämmern und Schaufeln.
Er zeigte lebhafte Szenen der Musiklokale und Billardhallen seiner Heimatstadt. Und er zeigte persönlich schmerzhafte Szenen, wie ein Klassenzimmer mit allen Kindern an ihren Schreibtischen außer ihm: Er wurde beauftragt, den Dickbauchofen mit Holz gefüllt zu halten. Er lernte nie lesen oder schreiben, bis er ins Gefängnis kam.
Bald hatte er eine Einzelausstellung im York Square Cinema in New Haven im Jahr 1998. Weitere Ausstellungen folgten in Museen und Galerien – in der Yale University Art Gallery und in Harlem, Atlanta, Los Angeles und anderswo. In den Adelson Galleries in Manhattan wurden 2010 einige Stücke für jeweils 35.000 US-Dollar verkauft. Vielleicht war der höchste Preis, den er erzielte, fast 80.000 Dollar für eines seiner Kettenbandenbilder.