James Hore-Ruthven kom fra en berømt britisk familie. Hans onkel, 1. jarl av Gowrie, vant VC i slaget ved Omdurman i Sudan i 1898 og ble generalguvernør i Australia.

James arbeidet hele sitt voksne liv med MRA/IofC, og ble venn med mange i den politiske ledelsen i Storbritannia og andre land. Han satt i det britiske MRA-styret i 34 år, og også i Caux Foundation og International Council.

Han ble kjent i internasjonale kretser for sitt fredsskapende arbeid.

Han giftet seg med Dron Craig, datter av en stålforretningsmann fra Glasgow, og etterlater seg en datter, Angela, en sønn, Sandy, og to barnebarn.