Джеймс Аллен Уитмор Мл. родился 1 октября 1921 года в городе Уайт-Плейнс, штат Нью-Йорк, в семье комиссионного чиновника Джеймса Аллена Уитмора Ст. и его жены Флоренс Белль (урождённой Крейн). Он окончил Среднюю школу в городе Амхерст, а затем поступил в Йельский университет, где состоял в братстве «Черепа и кости». Во время Второй мировой войны Джеймс служил в Корпусе морской пехоты США.
После окончания войны началась актёрская карьера Джеймса на Бродвее. Первой его ролью стал сержант в постановке «Командное решение», за роль которого он удостоился премии «Тони» в номинации «Лучший начинающий актёр». Первая основная роль в кино у Уитмора была в фильме 1949 года «Поле битвы», где он сыграл сержанта Кинни. Эта роль принесла ему премию «Золотой глобус», а также номинацию на «Оскар» в качестве лучшего актёра второго плана. Фильм стал большим успехом для Джеймса, после которого началась его активная карьера в кино. В последующие годы он появился в таких фильмах, как «Асфальтовые джунгли» (1950), «Целуй меня, Кэт» (1953), «Они» (1954), «Оклахома!» (1955), «Ружья великолепной семёрки» (1969), «Тора! Тора! Тора!» (1970), а также в «Пошли их всех к чёрту, Гарри!» (1975), роль в котором принесла ему вторую номинацию на «Оскар».
Джеймс Уитмор также часто появлялся на телевидении. Особенно много он снимался в 1960-х годах, когда появился в качестве гостя в сериалах «Сыромятная плеть», «Бонанца», «Сумеречная зона», «Доктор Килдэр», «Бен Кейси», «Величайшее шоу на Земле», «Правосудие Берка» и многих других. Помимо этого продолжалась его карьера и на театральной сцене, где он достиг большого успеха и популярности.
Одной из последних основных ролей Джеймса стал библиотекарь Брукс Хатлен в фильме «Побег из Шоушенка» в 1994 году. В 1999 году он исполнил роль Раймонда Оза в двух эпизодах сериала «Практика», за роль которого получил «Эмми». За свой вклад в киноиндустрию Джеймс Уитмор удостоен звезды на голливудской «Аллее славы» на Голливуд-бульвар 6611.
Джеймс Уитмор был женат четыре раза. Его первой женой, на которой он женился в 1947 году, была Нэнси Мигатт. Этот брак принёс ему троих сыновей, но завершился разводом в 1971 году. С 1972 по 1979 год он был женат на актрисе Одре Линдли. После развода он вновь женился на Нэнси Мигатт, но брак снова распался спустя два года. В 2001 году его четвёртой женой стала актриса и писательница Норин Нэш.

В ноябре 2008 года у Джеймса Уитмора был диагностирован рак лёгкого и 6 февраля 2009 года в возрасте 87 лет он умер в своём доме в Малибу.