Nie wiadomo, kiedy na wapiennym wzgórzu Lipowiec (362 m n.p.m.) powstała pierwsza drewniana strażnica. Jan Długosz wspomina, iż na początku XIII w. dobra lipowieckie należały do małopolskiego rodu Gryfitów. Klemens z Ruszczy herbu Gryf w 1238 r. przekazał je, wraz z drewnianym grodem, klasztorowi Benedyktynek w Staniątkach. Następnie bp Jan Prandota, włączył posiadłość w skład małopolskich dóbr biskupstwa krakowskiego. W XV w., w związku z granicznym położeniem zamku i ogólną sytuacją polityczną, rozbudowano i zmodernizowano jego system obronny. Jednocześnie zamek zaczął pełnić funkcję więzienia dla duchownych oraz dla głosicieli zasad reformacji (przetrzymywano tutaj m.in. Franciszka Stankara). W XVII w. funkcję siedziby biskupów krakowskich przejął wystawiony u stóp lipowieckiego wzgórza wygodny, drewniany dwór. Przestarzały militarnie zamek zaczął popadać w ruinę. W 1789 r., po przeszło pięciuset latach, dobra lipowieckie wraz z zamkiem przestały być własnością biskupów krakowskich. Na mocy reformy cesarza Józefa II władze zaboru austriackiego przejęły je na rzecz skarbu państwa.
Po II wojnie światowej zamek uznano za obiekt zabytkowy i w latach pięćdziesiątych XX w. podjęto decyzję o jego ratowaniu. Zamek wraz z leżącym poniżej wzgórza skansenem stały się w 1970 r. oddziałami Muzeum w Chrzanowie. W 2007 r. powstało obecne, niezależne od chrzanowskiego Muzeum – Nadwiślański Park Etnograficzny w Wygiełzowie i Zamek Lipowiec z siedzibą w znajdującym się na terenie skansenu zrekonstruowanym dworze z Drogini (koło Myślenic).
Położone w granicach Tenczyńskiego Parku Krajobrazowego wzgórze Lipowiec (362 m n.p.m.), stanowiące fragment Garbu Tenczyńskiego, objęte jest ochroną rezerwatową. Rezerwat Lipowiec, o powierzchni 12,44 ha, ustanowiono w 1959 r. w celu ochrony porośniętego lasem bukowym wzgórza z ruinami średniowiecznego Zamku Lipowiec oraz stanowiska rzadkiego gatunku storczyka (kruszczyka wąskolistnego, mający zaledwie kilka znanych stanowisk na terenie naszego kraju).