Le «petit château», ou «châtelet», ainsi qu’il a été surnommé, a été construit au XVIIIe siècle par le comte De Portes, général major. Il se plaisait à y organiser des réceptions somptueuses, accueillant ses collègues officiers supérieurs dans ce cadre fort propice. Cette demeure a ensuite accueilli le maire du village, avant d’être achetée au XIXe par Jacques Giraud, dont les descendants habitèrent la maison jusqu’à la fin du XXe siècle.
La fille de ce dernier, Emilie, peintre de talent, était mariée à Armand Leleux, également peintre. Habitant Paris durant l’hiver, ils revenaient à Dardagny en été, et y recevaient nombre de leurs amis artistes. C’est ainsi que le village a accueilli Camille Corot, Théophile Gautier ou encore Eugène Sue. On doit aux Leleux une représentation étonnante de Dardagny dans le monde des arts. Corot a ainsi peint plus d’une dizaine de toiles avec comme sujet le village ou ses environs.
Hélène Leleux, fille de ce couple d’artistes a continué à perpétuer la tradition. Active dans le milieu musical et littéraire, elle a reçu ici de nombreux musiciens. Mariée à plusieurs reprises, elle n’a toutefois pas eu d’enfants. Ce sont dès lors des parents éloignés qui ont reçu la maison en héritage.
Cette dernière à finalement été vendue au début des années 2000 et son mobilier disséminé lors d’une vente aux enchères. Seuls les murs et le jardin témoignent encore des grandes heures du « petit château ».