Op het ‘eiland’ binnen de gracht stond vroeger het kasteel ’t Juffere. Het kasteel, in vaktermen een waterburcht, is waarschijnlijk rond het jaar 1400 gebouwd als residentie van de Heren van Oploo. In een tijdsbestek van bijna 300 jaar volgden zich hier vele generaties van de familie Van Steenhuijs en hun nazaten op. Deze adellijke familie had zijn hoofdzetel op het kasteel in Heumen.

​

Oploo was een heerlijkheid. De dorpskern bestond vele jaren slechts uit het kasteel, een kapel, de watermolen, een paar hoeven (boerderijen), bouw- en weiland en een lap peelheide. Lopende zaken in het dorp werden onder toeziend oog van de bewoners van het kasteel behartigd door de laatbank, met zeven leden die onder leiding van de scholtis of richter besluiten namen.

​

Lang niet alle Heren en Vrouwen verbleven overigens in Oploo, ze zagen het vooral als een mooie uitvalsbasis voor logies- en jachtpartijen. Met name de valkenjacht was in hun kringen populair. Dat was vooral tussen 1650 en 1750, toen het kasteel zijn glorietijd beleefde. De benaming ’t Juffere dankt het kasteel aan drie vrouwen die in de laatste fase van het actieve bezit de scepter zwaaiden: Lucretia van der Noot, Vrijvrouwe van Heumen en Oploo, en haar dochters Amalia en Genoveva.

Hoewel Lucretia van het hervormde huize was, had ze het goed voor met de katholieke bevolking. Als Vrouwe heeft ze er met succes voor geijverd dat Oploo een zelfstandige parochie werd. Zo schonk ze het dorp grond voor de bouw van een schuurkerk en een school.

​

Na het overlijden van de laatste van de dochters van Lucretia werden blijkens een akte van de schepenbank Oploo op 18 juni 1778 alle bezittingen en belastingopbrengsten voor een bedrag van 75.000 gulden verkocht aan Prins Willem V van Oranje Nassau. Omgerekend zou dit in 2020 ongeveer 750.000 euro zijn. Geen overdreven hoog bedrag, want tot de bezittingen behoorden de water- en rosmolen, 7 boerderijen, veel weiland en bouwland en bossen (totaal ruim 3700 bunder) en dus de jaarlijkse belastingopbrengsten van de korentienden, houttienden en erfpachten.

​

Het kasteel is begin 19e eeuw afgebroken, zonder dat hiervan een precies jaar bekend is. Wat er nu resteert is de kasteelgracht, waar omheen de straat Kasteelgracht ligt met een aantal woningen. Op het binnenterrein bevinden zich haagjes die de contouren van de muren en torens van het vroegere kasteel markeren, een beeldengroep van de Vrouwen Lucretia, Amalia en Genoveva en een impressie op schaal van het vroegere kasteel.