Родившийся в 1918 году в купеческой семье, Юдзо Кавасима ещё с юных лет заинтересовался литературой и кинематографом. Фильмы великого американского кинорежиссёра Дэвида Уорка Гриффита произвели на молодого Кавасиму неизгладимое впечатление, и он просто загорелся мечтой о работе в кино. После окончания средней школы юноша поехал в Токио, где он становится членом киноклубов Eigashudan и Nihon Eiga Kenkyukai, поступает в университет Мэйдзи, где будет изучать литературу. Когда студия «Офуна» кинокомпании «Сётику» в 1938 году объявила очередной конкурсный набор на вакантные должности ассистентов режиссёра, двадцатилетний Кавасима успешно прошёл трудный экзамен и попал в восьмёрку избранных, которых студия отобрала из 2000 претендентов.

После того, как Юдзо Кавасима поработал ассистентом у таких мэтров режиссуры, как Ясудзиро Симадзу и Ясудзиро Одзу, а также у только недавно начавших свой путь в профессии, а впоследствии ставших классиками Кодзабуро Ёсимуры и Кэйсукэ Киноситы, он в 1944 году получил возможность дебютировать самостоятельной постановкой, сняв фильм «Человек, пришедший навсегда». Эта дебютная его работа не имела успеха у зрителя, поэтому в двух последующих своих картинах он был только сорежиссёром. Первые успешные в коммерческом прокате киноленты Кавасимы, фильмы снятые в 1948 году, «Последователь» и «О, граждане!» показали элементы будущего стиля режиссёра. В своих постановках того периода Кавасима обращался преимущественно к комедийному материалу, став к середине 1950-х одним из признанных мастеров кинокомедии компании «Сётику», хотя он сам был крайне не удовлетворён и своими работами тех лет и жёстким диктатом студийных боссов.

В 1951 году состоялось знакомство Кавасимы с Сёхэем Имамурой, пришедшем тогда на студию также как и он когда-то в 1938-м, по конкурсному набору и получившему место ассистента режиссёра. Общие взгляды на жизнь и бунтарский дух объединило и сдружило этих двух художников. Они вместе покинули «Сётику» в 1954-м, перейдя в кинокомпанию «Никкацу», взбунтовавшись против пресловутого «духа студии «Офуна» — духа умеренности и конформизма. Имамура был его главным ассистентом по киноленте «Бремя любви» (1955), социальной сатире, в которой показана история министра правительства, выступающего за контроль над рождаемостью, но не способного контролировать рождаемость в собственной семье. Кавасима продемонстрировал мастерство в умении манипулирования большим количеством персонажей в фильме «Наш город» (1956), рассказе о жизни в пригороде Осаки периода Мэйдзи в 1930 году. В то же самое время в кинолентах «Двадцать четыре вида Гиндзы» (1955) и «Рай Судзаки: Район красных фонарей» (1956), где действие по большей части происходит в барах и борделях ночного Токио, продемонстрирован интерес Кавасимы к неприглядным сторонам жизни японского общества.

В 1957 году Юдзо Кавасима поставил по сценарию бывшего ассистента и лучшего друга Имамуры свой лучший фильм «Солнце в последние дни сёгуната» (в главной роли — Фрэнки Сакаи), придав новую глубину традиционной комедии. В этой киноленте остроумно и непристойно изложены события в борделе времён Реставрации Мэйдзи, где внимание режиссёра сконцентрировано на показе сексуальных и финансовых проблем героев. И хотя сотрудничество Кавасимы и Имамуры было не столь долгим, тем не менее, каждый из них обогатился совместным опытом. Комедии Кавасимы, их чёрный юмор и несколько бурлескный дух произвели сильное впечатление на молодого Имамуру и отразилось затем в первых его самостоятельных постановках. Кавасима же, в свою очередь, стал больше обращаться к низам общества и социальным проблемам, что привил ему друг Имамура. В то время как Имамура начал самостоятельную режиссёрскую деятельность, Кавасима ушёл из компании «Никкацу» и его дальнейшие работы сняты в павильонах студий «Токио фильм» и «Тохо».

Успех фильма «Солнце в последние дни сёгуната» способствовал появлению ряда сатирических и фарсовых комедий, снятых Кавасимой на рубеже 1950-х — 1960-х годов, где главную роль неизменно играл актёр Фрэнки Сакаи. Наиболее характерной из этих комедий была «Сдаются комнаты» (1959), весёлый портрет жизни низов общества в Осаке.

Режиссёр также успешно работал с более традиционным драматургическим материалом: «Храм Диких Гусей» (1962), основанная на романе Цутому Мицуками — мастерски созданная мелодрама о неоднозначных взаимоотношениях между коррумпированным священником, его возлюбленной и его псаломщиком; в то время как «Тень цветка» и «Женщины рождаются дважды» (оба фильма 1961 года) были нежными и трогательными исследованиями жизни хозяйки бара и гейши, отмеченные тонким психологическим рисунком характеров героинь и сочувственным отношением к падшим женщинам. «Изящное чудовище» (1962) — один из последних фильмов режиссёра был снят с использованием необычных ракурсов в условиях замкнутого пространства и очень близок к лентам «новой волны».

Режиссёр умер в 45 лет от сердечного приступа, вызванного довольно редким заболеванием, — лёгочным сердцем. За 19 лет карьеры Юдзо Кавасима снял 51 фильм.

В 1991 году режиссёр и близкий друг Кавасимы, Сёхэй Имамура представил четыре его фильма на ретроспективе в Роттердаме. Это были четыре основных его работы: «Рай Судзаки: Район красных фонарей» (1956), «Солнце в последние дни сёгуната» (1957), «Женщины рождаются дважды» (1961) и «Изящное чудовище» (1962). В 2003 году Дом культуры Японии в Париже отдаст дань памяти Юдзо Кавасиме, устроив его ретроспективный показ. В феврале 2012 года мини-ретроспективу фильмов Юдзо Кавасимы устроили в рамках 62-го Берлинского международного кинофестиваля.