Széchényi Zsigmond halála után négy fia, Antal, Ignác, Zsigmond és László osztozkodott a család birtokain. Széchényi Antal grófnak (1714–1767) jutott többek között Nagy- és Kiscenk. A gróf 1740-ben költözött át feleségével, gróf Barkóczy Zsuzsannával Kiscenkre, ahol átmenetileg a majorház szolgált lakhelyüknek, majd később megépült a ma is látható kastély.
A családi hagyomány szerint a kastély körüli barokk franciakerthez szervesen kapcsolódó kettős hársfasort Barkóczy Zsuzsanna grófnő telepíttette az 1750-es évek közepén. Az allé végén, az úgynevezett Kiserdőben a korabeli főúri ízlésvilágnak megfelelően remetelakot, majd később remetekápolnát építtetett.
A mindenkori „cenki” remete feladata volt a kápolna őrzése, gondozása, a déli harangozás, valamint az, hogy a kápolna esti imáján részt vegyen. A cenki remeték Remete Szent Pál regulája szerint, laikus testvérként, úgynevezett fráterként élték magányos életüket. Az első cenki remete, Astion Liebig fráter a győri egyházmegye feljegyzései szerint 1773-től teljesített szolgálatot.
Egy 1773-ban, német nyelven íródott dokumentum részletesen rendelkezik a remete eltartásáról. A jegyzék felsorolja az uradalom részéről a remete megélhetéséhez szükséges élelmiszereket: marhahúst, szalonnát, lisztet, sót, zsírt, sajtot és bort is biztosítani kellett meghatározott mennyiségben a remete részére.
Részlet a korabeli dokumentumból:
Kiss czenki eremitoriumban lakó remethének egész esztendőbéli konyha intertentiója:
36 pint liszt
24 pint lencse vagy borsó
28 font ki fűzött vaj
24 font soó
12 font sajt
Minden huss evő napra ½ font tehén huss és így egész esztendőre 96 fél font
72 darab officier kenyér
6 akkó bor helet kész pénz
6 öll tűzre való fa
Ezen kívül a ruhája, mint mondgya a kasznár, bele telik esztendőnként 20 forintokba.
A következő évben, 1774-ben Barkóczy Zsuzsanna grófnő a saját költségén kápolnát építtetett a remetelak mellé, Krisztus kínszenvedésének a tiszteletére.
II. József 1782 – ben feloszlatta a remeteség intézményét. A 18–19. század fordulóján és a század elején a remetelakban az uradalom szolgálatában álló személy lakott, akinek meghatározott feladatai voltak a kastély területén. A kápolna ekkor üresen állt, a hajdani remetelak pedig később vadászházként működött. A kápolnát 1870 táján kezdték ismét szakrális célokra használni, a keresztjáró héten (áldozócsütörtök előtti három napon) szentmisét tartottak itt, és a század végén is látogatott imahely volt.
A rokokó stílusú kápolnát 1902-ben bontották le. A szenvedő Krisztus fából készült, életnagyságú szobrát, mely az oltárt díszítette, 1903-ban a cenki templomba vitték. Jelenleg is ott található, a jobb oldali mellékoltár mellett. Az egykori remetelakból kialakított és kibővített vadászház ma is áll.
A kápolnát az eredeti helyétől nem messze építették újjá. Azért került a kastély közvetlen közelébe, a szoborpark mellé, hogy a Széchenyi-hagyatékot minél több látogató csodálhassa meg a lehető legteljesebb formájában.
A kápolna rekonstrukciója 2020-ban a korabeli tervek és fotók alapján valósult meg. Az egykori remetekápolna néhány elemét – a homlokzaton lévő kettőskeresztet és a bejárati vasrácsot – beépítették az itt látható rekonstruált épületbe. Az egykori imahely kőlépcsőjét megőrizték a Remetekápolna eredeti helyén, a hársfasor végében ma is fellelhető, szilárd emléket állítva a Széchényiek gazdag örökségének.