Брайан Рей Троут родился в Линчберге, Виргиния и был воспитан в Конкорде, Северная Каролина своей матерью, Каролиной Элейн Вакс (урождённая Радд), которая владеет сетью специальных маркетинговых агентств «Sports Management Group». Отец Ульриха является ресторатором. Дядя Брайана по материнской линии — бывший гонщик NASCAR Ричард Радд, а его дедушкой по той же материнской линии был президент «Al Rudd Auto Parts» сэр Элвин Рей Радд. У Брайана есть старший брат Джеффри. Когда Брайну было 8 лет, их мать, которая до этого разошлась с их отцом, вышла замуж за бывшего гонщика NASCAR Дональда Кейта Ульриха, который дал Брайану и Джеффри свою фамилию. В 1982 году Каролина разошлась с Дональдом и затем вышла замуж за Эдварда Льюисса Вакса. Прозвище «Скит» происходит от прозвища «Скитер», которое ему дал в Младшей Лиге бейсбола его тренер из-за маленького роста. Он имел плохое здоровье, включая многочисленные приступы пневмония и подвергся открытой операции на сердце в 10 лет.

Ульрих окончил среднюю школу северо-западного Кабарруса, где достиг успехов в футболе. После первоначального поступления в Университет Северной Каролины в Уилмингтоне для изучения морской биологии, он переключился на Нью-Йоркский университет и впоследствии был замечен драматургом Дэвидом Мэметом.

5 октября 1997 года Ульрих женился на английской актрисе Джорджине Кейтс, которую он встретил на церемонии вручения «Оскара». Церемония их небольшой свадьбы состоялась на ферме округа Мэдисон, Виргиния, и гостями были лишь приглашённый священник и их собака. Вместе у них двое детей: сын Джейкоб Дилан и дочь Нейла Роуз (родилась в 2001 году). Скит и Джорджина развелись 23 июня 2005 года, сославшись на непримиримые разногласия. Они имеют право совместной опеки над детьми.

6 мая 2012 года Ульрих женился на Амелии Джексон-Грэй.