С 1956 по 1962 год Рыбников учился в Центральной музыкальной школе при Московской консерватории. В 1962 году поступил в Московскую консерваторию, по классу композиции учился у А. И. Хачатуряна. В 1967 году с отличием окончил консерваторию, а в 1969 году — аспирантуру по классу этого же композитора.

С 1969 по 1975 год Алексей Рыбников преподавал в Московской консерватории на кафедре композиции.

Алексей Рыбников — автор музыки к многочисленным кинофильмам, музыкальным спектаклям, а также рок-опер «Звезда и смерть Хоакина Мурьеты» и «Юнона и Авось» (по поэме А. Вознесенского), поставленных в Московском театре им. Ленинского комсомола.

В 1979 году Алексей Рыбников был признан Всесоюзным хит-парадом самым популярным композитором года и награждён премией за лучшую музыку к кинофильму на Московском международном кинофестивале. В 1989 году общий тираж проданных дисков с музыкой А. Рыбникова превысил 10 миллионов экземпляров.

В 1988 году Алексей Рыбников основал Производственно-творческое объединение «Современная опера» при Союзе композиторов СССР. В 1992 году здесь была представлена публике музыкальная мистерия А. Рыбникова «Литургия оглашенных».

В 1999 году Постановлением Правительства Москвы при комитете по культуре Москвы был создан Театр Алексея Рыбникова.

С 2005 года — президент Национальной премии и фестиваля «Музыкальное сердце театра».

С 26 июля 2010 года — член Патриаршего совета по культуре (Русская православная церковь).

В 2010—2011 годах композитор написал современную оперу «Война и мир» на основе романа Льва Толстого «Война и мир».

Живёт и работает в Москве.