A partir des siglo XIV, los Obispos de Sarlat vienen a vivir a Issigeac y hacen del lugar su residencia habitual. Uno de los sucesores, François II de Salignac Fénelon manda construir el castillo en 1660 sobre fortificaciones medievales.

Este edificio, que figura entre los monumentos históricos muestra las características de la arquitectura clásica francesa : sencillez, simetría, orden, claridad.

Su aspecto se ve, sin embargo, suavizado por las dos torrecillas redondas colgadas en cada esquina de las alas laterales.
Hoy, la Oficina de Turismo se ubica en las bodegas abovedadas del castillo.