Bewoning in de ijzertijd (700 – 57 v.Chr.) is aangetoond. De eerste vermelding van Eckart is uit ongeveer 1323. We beperken ons hier tot de geschiedenis van de nog zichtbare gebouwen.

In 1695 wordt door Carel van Vlierden een huis met voorhof gebouwd dat de kern vormt van het huidige gebouw. Ook de tuinmuur is door hem gebouwd.
Baron de Jeger laat rond 1750 een torenuurwerk met slagklok installeren. In de loop der tijd worden de dakruiter met luidklokje en ijskelder toegevoegd.
De kasteelhoeve is ook in zijn opdracht gebouwd.
In 1906 krijg Eduard Cuypers opdracht het kasteel een paleisachtig uiterlijk te geven. Voorts moeten een stalgebouw (het latere koetshuis) en een chauffeurswoning in landhuisstijl gebouwd worden.

De tuinen worden in opdracht gegeven aan D.F. Tersteeg uit Naarden. Er zijn meerdere tuinen van hem in Eindhoven.