Роберт Дауни-младший 7 лет встречался с Сарой Джессикой Паркер, с которой расстался в 1991 году. В 2003 году на съемках триллера "Готика" актер встретил продюсера Сьюзан Левин, на которой женился 27 августа 2005 года. В 2012 году на свет появился Экстон Элиас Дауни. 4 ноября 2014 года у пары родилась дочь Эйври Роэль Дауни.