Byron Douglas Berline, das jüngste von fünf Kindern von Lue und Elizabeth (Jackson) Berline, wurde am 6. Juli 1944 in Caldwell, Kansas, nahe der Grenze zu Oklahoma geboren. Sein Vater arbeitete auf einer Farm und spielte Banjo und Geige bei Scheunentänzen und anderen Veranstaltungen. Seine Mutter, eine Hausfrau, spielte Klavier.
Der junge Byron begann mit 5 Jahren, eine dreiviertelgroße Geige zu spielen; er gewann seinen ersten öffentlichen Wettbewerb mit 10 Jahren und übertraf damit seinen Vater. Zu seinen frühen Einflüssen gehörte Eck Robertson, der erste alte Geiger, der aktenkundig erschien.
Als begabter Athlet erhielt Herr Berline ein Fußballstipendium an der University of Oklahoma, wo er sich 1963 einschrieb, nur um sich bei diesem Sturz die Hand zu brechen. Die Verletzung führte dazu, dass er sich auf die Musik konzentrierte, obwohl er sein sportliches Stipendium behielt, indem er als Speerwerfer zum Leichtathletikteam wechselte.
Herr Berline zog die Aufmerksamkeit der Dillards auf sich, als er in einer Campus-Folk-Gruppe in Oklahoma spielte. Sie luden ihn ein, bei „Pickin’ and Fiddlen’“ mitzuspielen. Nach seinem College-Abschluss im Jahr 1967 und seinem Militärdienst im Jahr 1969 zog Herr Berline mit seiner Frau Bette (Ringrose) Berline nach Los Angeles, auf Drängen von Doug Dillard, der ihn rekrutierte, um bei Dillard & Clark aufzunehmen.
Nach drei Jahren Session-Arbeit in Kalifornien und Zeit bei den Flying Burrito Brothers gründete Herr Berline seine eigene Gruppe Country Gazette und unterschrieb bei United Artists Records. Die Bluegrass-Mischung der Band erwies sich als einflussreich und nahm fast zwei Jahrzehnte lang auf, aber Country Gazette erreichte nie den Mainstream-Erfolg.
Ein weiteres Projekt, Byron Berline & Sundance, sicherte sich ebenfalls einen Vertrag mit MCA Records. Aber die drei Gründungsmitglieder der Gruppe, der Gitarrist Dan Crary, der Banjo-Spieler John Hickman und Mr. Berline – die sich später als Berline, Crary & Hickman bezeichneten – schnitten auf einem traditionellen Bluegrass-Markt am besten ab und veröffentlichten Platten auf unabhängigen Labels wie Rounder und Sugar Hill in den 1990er Jahre.