Las tierras de Sutherland fueron adquiridas por Hugh, lord de Duffus, a comienzos del siglo XIII, y su hijo William, descendiente de la Casa de Mornay por línea materna, fundó el condado de Sutherland en torno a 1235. El primer registro que se tiene del castillo data de 1401. Se cree que el castillo fue construido sobre las ruinas de una fortaleza medieval. Esto explicaría que en el nombre del castillo aparezca la partícula «dun» (nombre genérico en lengua gaélica para designar una fortaleza medieval). La primera torre maestra tenía forma cuadrada con unas pocas ventanas pequeñas que daban lo alto de un acantilado. Probablemente existía una muralla defensiva. Cada piso de la fortaleza tenía el techo abovedado. En el siglo XVI, el condado pasó a la familia Gordon y, durante este tiempo, el castillo fue asediado en dos ocasiones. Robert the Bruce contó con el apoyo de la familia Gordon en su pretensión al trono, quienes recibieron a cambio el Condado de Huntly en 1445. Durante el siglo XVII, se construyeron las estancias del castillo en torno a un patio.

Durante el levantamiento jacobita de 1745, los jacobinos irrumpieron en el castillo sin avisar bajo el mandato de Carlos Eduardo Estuardo, porque el clan de los Sutherland apoyaba el gobierno británico. El decimoséptimo conde de Sutherland, que se había cambiado el apellido Gordon por Sutherland, logró escapar saliendo por una puerta trasera del castillo, navegó hacia Aberdeen y allí unió al ejército del Duque de Cumberlans.​ Cuando murió el decimoctavo conde en 1766, la casa pasó a su hija Isabel, que se casó con un político, el cual pasó a ser el primer duque de Sutherland. En 1785 la casa se volvió a ampliar.

En 1845, el segundo duque de Sutherland contrató el arquitecto Charles Barry para remodelar completamente el castillo y para transformarlo de castillo en casa según el estilo escocés baronial que se había puesto de moda entre la aristocracia. Barry había sido el arquitecto del Palacio de Westminster, sede de la Cámara de los Comunes del Reino Unido, y, por tanto, estaba muy solicitado. La torre de defensa del siglo XIV y las ampliaciones de la casa en los siglos XVII y XVIII se preservaron y sobrevivieron a la reforma que Barry llevó a cabo el siglo XIX.

En 1915, mientras el edificio estaba siendo utilizado como hospital naval, un incendio destruyó el interior. Tras la Primera Guerra Mundial se contrató el arquitecto escocés Robert Lorimer para renovar la casa.​ Cuando el quinto duque, George Sutherland-Leveson-Gower, murió en 1963, el condado y la casa pasaron a su sobrina, la actual condesa de Sutherland, mientras que el ducado, tuvo que pasar a un heredero masculino y fue a parar en manos del conde de Ellesmere. Entre los años 1965 y 1972, la casa se convirtió en un internado para chicos. Desde 1973 la casa y los jardines han sido abiertos al público, aunque hay algunas habitaciones privadas destinadas para el uso de la familia Sutherland.

Fuente: Wikipedia