Джек Альбертсон родился в штате Массачусетс в семье иммигрировавших из Российской империи евреев Флоры Коафт и Леопальда Альбертсона. Помимо него в семье уже была старшая дочь, Мэйбл, которая также стала актрисой. Не доучившись в школе, Джек Альбертсон бросил учёбу и перебрался в Нью-Йорк, где собирался начать карьеру в шоу-бизнесе. Первое время ему приходилось тяжело сводить концы с концами, и будущий актёр иногда ночевал либо в метро, либо на лавочке в Центральном парке. Первой серьёзной работой в его жизни, стало участие в дорожной труппе артистов водевилей, где он исполнял танцевальные номера.

Вскоре он получил работу в одном из бурлеск-шоу, где выступал в комедийном дуэте с актёром Филом Силверсом. Благодаря этим выступления Джек Альбертсон попал на Бродвей, где его актёрская карьера стала стремительно развиваться. В конце 1930-х актёр дебютировал на большом экране, снявшись в дальнейшем более чем в 30 фильмах. Одна из первых его киноролей была в фильме «Чудо на 34-й улице» (1947), где Альбертсон сыграл почтальона. Значительный успех пришёл к нему в 1950-х, когда он стал активно сниматься на телевидении.

В 1960-х и 1970-х Альбертсон появился в ряде успешных кинофильмов, среди которых «Целующиеся кузены» (1964), «Рабочий по найму» (1964), «Вилли Вонка и шоколадная фабрика» (1971) и «Приключение «Посейдона»» (1972). В 1964 году актёр был удостоен премии «Тони» за роль в бродвейском мюзикле «Если бы не розы», а четыре года спустя появился и в её экранизации, роль в которой принесла ему премию «Оскар» в номинации лучший актёр второго плана. В то же время Альбертсон продолжал успешную карьеру на телевидении, где в 1974 году удостоился премии «Эмми» за роль в сериале «Чико и человек».

В 1978 году актёру был поставлен диагноз колоректальный рак, но, несмотря на это он продолжал активно сниматься. Одну из своих последних ролей он сыграл в фильме ужасов «Умершие и похороненные». Джек Альбертсон скончался в ноябре 1981 года в Голливуде в возрасте 74 лет. Спустя год не стало и его сестры, актрисы Мэйбл Альбертсон. Они оба были кремированы, а их прах развеян над Тихим океаном.

Его вклад в развитие американского телевидения был отмечен звездой на Голливудской аллее славы.