Zamak je originalno bio manastir krajem XII veka, u kome je kralj Edvard I boravio 1298. godine na putu za Škotsku, kada je krenuo da uguši pobunu Škotlanđana sa Viljem Valasom na čelu. Zbog svog značajnog položaja, manastir je često bio prolazna stanica engleskoj vojsci ka Škotskoj, ali zbog nedostataka odbrambenih zidina i vojske, više puta je bio i pod okupacijom Škotlanđana, koji su ga koristili za pohode na jug. To se menja 1344. godine, kada kralj Edvard III naredio da se od manastira napravi dobro utvrđen zamak i snažno uporište njegovim braniocima. Zidine zamka su na nekim mestima debele i do 4 metara. Njegov značaj se gubi tokom XVII veka, kako su odnosi dva zavađene zemlje postali mirni nakon ujedinjena dve krune sa kraljem Džejmsom I, kraljem Engleske i Škotske. Zamak se transformiše u stambeni objekat, odbrambeni rov je popunjen zemljom, a izgrađene su i biblioteka i banket sala.

Ono po čemu je danas zamak poznat su retka Čilingem goveda koja se gaje samo na ovom mestu i po tome što se smatra za verovatno najukletiji zamak u Britaniji zbog svojoje burne i krvave prošlosti.

Njegova tamnica se nalazi u podrumu ispod centralnog dela zamka, i sastoji se od sobe za ispitivanje i mučenje, i duboke rupe u kojoj su držani zatvorenici. Soba je puna sprava za mučenje iz tog perioda, pod je popločan kamenjem i pod određenim je uglom, pretpostavlja se zato da se krv ne zadržava na njemu, već da bi isticala iz sobe. Rupa je duboka preko 7 metara i zatvorena je gvozdenom rešetkom na vrhu. Prema zapisima nađenim u zamku, zatvorenici su u toj rupi bacani, i vrlo je verovatno da su tamo ostavljani da umru od gladi ili od povreda dobijenih tokom mučenja. Tvrdi se da je smrt u ovom zamku našlo nekoliko hiljada Škotlanđana. Verovatnije je da je taj broj nekoliko stotina, ali se povećao iz turističkih razloga.

Glavni mučitelj je bio Džon Sejdž (John Sage), vrlo popularna ličnost svoga vremena. Pre nego je postao mučitelj, bio je jedan od najboljih vojnika kralja Edvarda I, dok nije ranjen na bojnom polju i ostao bez noge. Zbog svojih zasluga, Edvard ga je zadržao u svojoj službi tako što mu je dao upravu nad Čilingenom. Džon je bio vrlo surov čovek koji je mrzeo Škote, i uživao da ih muči. Priča se da je neke sprave za mučenje lično on smislio, a spisak je popriličan: bure sa ekserima u kome je zatvorenik kotrljan dok su mu ekseri kidali meso sa tela, sprave za vađenje očiju, kavezi u kome zatvorenik nije mogao da mrda rukama ni nogama, sa posebnim otvorima kod njegovog stomaka, gde je stavljana posuda sa pacovom i grejala se vatrom. Pacov je mogao da pobegne od vatre samo kroz stomak žrtve. Priča se da je Sejdž mučio po 50 osoba nedeljno, tokom 3 godina svoje uprave nad zamkom.

Kako se situacija između Škotske i Engleske smirivala, Sejdž je pokušao da se reši zatvorenika. Prikupio je muškarce, žene i odraslu decu u dvorište zamka i sve ih spalio na velikoj lomači. Manju decu je držao u svojoj sobi i naterao ih da gledaju kako njihove porodice gore u plamenu. Zatim je uzeo sekiru, otišao u sobu sa decom i isekao ih na komade. Sekira i dan danas stoji kao eksponat u toj sobi. Priča se da se vrisak čuo miljama daleko, a da se u njegovoj sobi i dan danas čuju jecaju dece. Očevici kažu da se luster u toj sobi uvek pomera, i kada su prozori zatvoreni i nema vetra.

Svoju propast je našao kada je nesrećnim slučajem ubio svoju devojku za vreme seksa. Devojka je bila kćerka starešine moćnog plemena u toj oblasti, koji je od Edvarda zahtevao da se mučitelj kazni, ili će se pridružiti Škotima u borbi protiv Engleske. Edvard nije smeo da dopusti tako nešto i žrtvovao je mučitelja. Priča se da se Džon Sejdž obesio kako ne bi pao živ u ruke besnoj gomili, a da je njegovo telo raskomadano i bačeno psima. Očevici kažu da se njegov duh vidi kako često luta zamkom i tamnicom.

Najpoznatiji duh u zamku je ''plavi dečak'', koji je prema priči živ sazidan u Ljubičastoj sobi, koja je danas zatvorena za javnost. Prema priči, dečak je našao dokumenta koja su trebala pomoći Španskoj armadi da osvoje Englesku. Pitanje je, zašto bi dečaka koji je našao dokumenta sazidali a ne onog koji je dokumenta napisao? Njegove kosti su pronađene 1920. godine, zajedno sa ostacima plave tkanine po kojoj je dobio ime. Očevici kažu da se pojavljuje svake večeri i da nije neprijateljski raspoložen.

Još jedan poznati duh je duh Lady Mary Berkeley, supruga lorda Greja od Varka i Čilingema. Duh luta hodnicima zamka u potrazi za svojim suprugom, koji je pobegao sa njenom rođenom sestrom. Lady Mary je ostala u zamku sa svojom kćerkom dok nije umrla slomljenog srca. Očevici tvrde da su čuli šuškanje starinskih haljina i da su osetili hladnoću kao da je duh prošao pored njih. Priča je još mnogo više, od žene koja izlazi iz portreta u banket sali, preko dvojice muškaraca koji pričaju u biblioteci, ali ih možete čuti samo ako vi čitate nešto, do jezera u kome su bačeni ostaci ubijenih Škota i čije duše pokušavaju da vas uvuku unutra ako gurnete ruku u jezero.

Zamak Čilingem je bio gost mnogih tv i radio emisija, Most Haunted, I'm Famous and Frightened!, Scariest Places On Earth, Holiday Showdown, Alan Robson's Nightowls), Ghost Hunters International, a oni koji žele da se sami uvere u istinitost ovih priča u zamku mogu iznajmiti apartmane i krenuti u potragu za duhovima.