С 9 лет пел в хоре церкви Святого Лаврентия в Нюрнберге, позже учился игре на виолончели, трубе, гитаре. Совершенствовал вокальное мастерство в театре оперы Нюрнберга, где исполнял партии драматического баритона. Во время Второй мировой войны воевал на западном фронте в составе войск вермахта, в 1944 году попал в плен и был отправлен на принудительные работы в штат Алабама, США, где впервые услышал свинг. После возвращения в Германию в 1946 году основал свою собственную группу и часто выступал в клубах для военнослужащих США. В 1950 году Бертельман совершил гастрольную поездку в Швецию с актрисой и певицей Царой Леандер, исполняя, в основном, популярную музыку. В 1952 году начал работать на зарождающемся телевидении Гамбурга. В качестве актёра в 1950-х и 1960-х годах играл в кино и театре.

Наиболее популярная его песня относится к 1957 году — «Весёлый бродяга» или «Смеющийся бродяга» (Der Lachende Vagabund, кавер-версия песни Джима Лоу), которая сделала его богатым и знаменитым. На сегодняшний день издано более 3,5 миллионов пластинок с записью этой песни (по некоторым источникам — более 5 миллионов). Из других известных хитов — «Ночь в Монтане», «Две гитары у моря», «До свидания, Рим» и другие. С большим успехом Фред Бертельман исполнял на немецком языке песни Фрэнка Синатры. Трижды — в 1956, 1961 и 1964 годах принимал участие в национальном отборочном конкурс на Евровидение, но занимал лишь 2, 15 и 11 места соответственно.

С 1966 года женат на телеведущей и актрисе Рут Капельшбергер.

С конца 2013 года Фред Бертельман болел тяжелой формой пневмонии. Умер 22 января 2014 в городке Берг, Верхняя Бавария.