Dwór w Brzeźnicy został zbudowany w XVIII w. przez Czartoryskich. Z zapisów kronikarskich z tamtych czasów wynika, że właścicielem był wówczas książę Stanisław Czartoryski, łowczy koronny. Po śmierci Stanisława w 1766 r. spadkobiercą majątku został jego syn Kazimierz. Ponieważ był chory umysłowo, jego majątkiem zarządzał starszy brat, książę Józef Klemens Czartoryski, stolnik litewski.. W 1830 dwór kupiła Katarzyna Gorczyńska. W XIX w. mieszkał w nim znany literat i malarz Adam Gorczyński. Ostatni gospodarz brzeźnickiego majątku, Zygmunt Gorczyński, został siłą usunięty z dworu przez Niemców w 1940 r. Podczas wojny dobrami Gorczyńskich zarządzali mianowani przez Niemców rządcy. Po parcelacji majątku w 1945 r. dwór oddano w użytkowanie Szkole Rolniczej, następnie przejęła go, jak również inne budynki gospodarcze, Gminna Spółdzielnia Samopomocy Chłopskiej. Do lat osiemdziesiątych we dworze mieścił się sklep i magazyn. Obiekt nieremontowany i niezabezpieczany popadł w ruinę. Od kilku lat dwór jest przywracany do dawnej świetności przez jego nowego właściciela.