Джеймс Хоре-Рутвен происходил из прославленной британской семьи. Его дядя, 1-й граф Гоури, получил VC в битве при Омдурмане в Судане в 1898 году и стал генерал-губернатором Австралии.

Джеймс всю свою взрослую жизнь работал с MRA/IofC, подружившись со многими представителями политического руководства Великобритании и других стран. В течение 34 лет он работал в правлении MRA в Великобритании, а также в Фонде Ко и Международном совете.

Он стал известен в международных кругах благодаря своей миротворческой деятельности.

Он женился на Дрон Крейг, дочери сталелитейного бизнесмена из Глазго. У него остались дочь Анжела, сын Сэнди и двое внуков.