Het kasteel van Herlegem was een site met een centrale, omwalde hoeve, meerdere boerderijen en een watermolen. De oudste attestatie dateert van 1419: "up muelenacker ligghende op de beke van herlegem". In 1662 werd het kasteel aangekocht door de familie Van Pottelsberge. Het huidige kasteel dateert van 1771. De aanleg van het park met walgracht, toegangsbrug, ereplein en bijgebouwen in U-vorm is van iets latere datum. In de nacht van 12 op 13 april 1981 brandde het kasteel grotendeels uit. Het kasteel werd met zorg en toewijding door de familie gerestaureerd.
Toponiemen eindigend op –em duiden op nederzettingen van Frankische origine uit de tweede helft van het eerste millennium. Zo is wellicht ook Herlegem een zeer oud domein waaraan eertijds meerdere boerderijen en een watermolen verbonden waren. Deze molen bevindt zich ten zuidwesten van het kasteel.
Verder bleef de ringgracht rond het kasteel bewaard met een prachtige vijver en 13e eeuwse watermolen op rust. Dit kasteel bevindt zich landschappelijk in de vallei van de Zaubeek en ligt op een hoogte van +18 m.