Sergei Adamovich Kovalev wurde am 2. März 1930 in Seredina Buda im Nordosten der Ukraine, damals Teil der Sowjetunion, geboren. Als er 2 Jahre alt war, zog die Familie in den Stadtteil Podlipki in der Nähe von Moskau.
Sein Vater, Adam Adamovich Kovalev, war ein mittlerer Eisenbahnbürokrat in Weißrussland gewesen, und seine Mutter, Irena Ivanovna Makarenko, hatte in Kiew Medizin studiert, bevor sie nach Hause zurückkehrte, um eine kranke Mutter zu stillen. Er hatte einen älteren Bruder, Yuri Adamovich Kovalev.
Laut Emma Gilligan, einer australischen Gelehrten und Autorin von „Defending Human Rights in Russia“, einer detaillierten biografischen Studie aus dem Jahr 2009, versuchten seine Eltern, „die Praxis des Schweigens und der Duldung“ einzuführen, die vielen Sowjetbürgern durch stalinistische Säuberungen beigebracht wurde.
Doch selbst in seinen Teenagerjahren stritt er mit seinen Lehrern über angebliche verfassungsrechtliche Garantien der freien Meinungsäußerung, sagte Frau Gilligan, was „die anspruchsvolle Persönlichkeit und die enzyklopädische Herangehensweise an Probleme“ vorwegnahm, die später seine Arbeit als Redakteurin der wichtigsten geheimen Menschenrechtsjournal seiner Zeit.
Er studierte von 1951 bis 1959 Physiologie an der Moskauer Staatlichen Universität, eine Zeit, die Stalins Tod 1953 und das Tauwetter des harten Kreml-Regimes unter Nikita S. Chruschtschow überspannte.
1956 war Herr Kovalev Co-Autor mit anderen Studenten eines Briefes, in dem die von den Behörden gebilligte Theorie der Genetik widerlegt wurde, eine Herausforderung, die einen Vorgeschmack auf den Druck des KGB gab. Während seines Verhörs, schrieb Frau Gilligan, hätten KGB-Agenten verschleierte Drohungen gegen Ivan Kovalev – der damals 2 Jahre alt war – seinen Sohn mit seiner ersten Frau, Elena Viktorovna Tokareva, ausgesprochen.
In den 1960er Jahren lernte Herr Kovalev seine zweite Frau, Ludmilla Iur’evna Boitseva, eine leitende Laborassistentin, kennen. Sie hatten eine Tochter, Varvara.