James Hore-Ruthven procede de una ilustre familia británica. Su tío, el primer Conde de Gowrie, ganó la VC en la batalla de Omdurman en Sudán en 1898 y llegó a ser Gobernador General de Australia.

James trabajó toda su vida adulta con el RM/IdeC, entablando amistad con muchos de los dirigentes políticos del Reino Unido y de otros países. Sirvió en la junta directiva del RM del Reino Unido durante 34 años, y también en la Fundación Caux y en el Consejo Internacional.

Llegó a ser conocido en los círculos internacionales por su trabajo de pacificación.

Se casó con Dron Craig, hija de un empresario siderúrgico de Glasgow, y le sobreviven una hija, Angela, un hijo, Sandy, y dos nietos.