Родители С. С. Яковлева были репрессированы. Мальчик воспитывался в спецдетдоме Кургана. Позже его усыновил Сергей Корнильевич Судьин, и. о. наркома внешней торговли СССР (июнь — октябрь 1937). После расстрела отчима мачеха, актриса и художница Мария Феофановна, вернула себе девичью фамилию (Яковлева) и дала её приемному сыну. По другим данным С. К. Судьин (1894, д. Новая, Казанская губерния — 21 апреля 1938, расстрельный полигон Коммунарка, Московская область) и М. Ф. Яковлева (1898—1976) — родители С. С. Яковлева, а не усыновители.

Сергей окончил 8 классов в московской школе № 32 (образцово-показательной), продолжил учёбу в школе рабочей молодёжи, параллельно работая учеником токаря в Трамвайном депо имени И. И. Артамонова. С началом Великой Отечественной войны строил противотанковые укрепления.

В феврале 1943 года призван Фрунзенским РВК г. Москвы. В Суздале окончил Винницкое пехотное училище, служил в 7-м запасном воздушно-десантном полку. С марта 1945 года гвардии красноармеец С. С. Яковлев — участник Великой Отечественной войны, командир пулемётного расчёта стрелковой роты 351-го гвардейского стрелкового полка 106-й гвардейской стрелковой дивизии, участвовал в боях в Венгрии и Австрии. В декабре 1946 года продолжил службу в Тейково Ивановской области. Затем учился в школе радиоспециалистов в Горьком, служил в 73-м отдельном стрелковом батальоне, нёс патрульную службу в Москве. В 1947 году демобилизован.

В 1947 году был рабочим сцены и статистом Театра литературного чтения при ВТО, сыграл эпизодическую роль полового в спектакле «Живой труп» Л. Н. Толстого.

В 1952 году окончил Государственный институт театрального искусства (ГИТИС), курс А. М. Лобанова и А. А. Гончарова.
С 1952 — актёр драматического театра при Центральном доме культуры железнодорожников, с 1957 — актёр театра на Малой Бронной, с 1966 — актёр московского театра им. Ленинского комсомола, с 1971 — Театра-студии киноактёра.

В свои последние годы жизни Сергей Сергеевич вместе с женой работали над задуманным и начатом им романом в стихах «Большая Медведица». Примечательная черта романа о судьбах русской интеллигенции двадцатого века «Большая медведица» состоит в том, что все главы написаны в едином стихотворном размере. Стихотворный ритм не прервался и смертью Сергея Яковлева. Его жена Наталия Юркова сохранила в написанной ею части романа единый ритм, который вдохнул в семистишия глав Сергей Яковлев.