Erbaut wurde Kastelbell ursprünglich von den Herren von Montalban. Diese Familie war einst sehr mächtig und geriet deshalb in Konkurrenz zu den Grafen von Tirol. Im Zuge dieser Auseinandersetzungen fiel Schloss Kastelbell in den Besitz der Landesfürsten. Ab etwa 1300 war Kastelbell auch Sitz einer Gerichtsbarkeit.
Nach mehreren weiteren Besitzerwechseln erhielt schließlich 1531 die Familie Hendl das Schloss als Pfandlehen. Die Hendls stammten aus der Schweiz und Anfang des 14. Jahrhunderts nach Tirol gekommen, wo sie sich als Ministeriale in der Landesverwaltung verdient machten und schließlich 1697 in den Grafenstand erhoben wurden. Die Hendls veränderten und erweiterten Schloss Kastelbell beträchtlich. Sowohl die Verteidigungsanlagen zur Bergseite hin als auch der Wohnbereich wurden mehrfach ausgebaut. Zu Beginn des 19. Jahrhunderts wurde die Anlage allerdings zweimal – 1813 und 1824 – durch Feuer fast gänzlich zerstört.
Nur ein Teil der Gebäude wurde zu Wohnzwecken wieder errichtet, der Rest verkam – da sich die wirtschaftliche Lage der Grafen erheblich verschlechtert hatte – zur Ruine. Das letzte männliche Mitglied der Familie, Graf Siegmund von Hendl, starb 1949. Seine Tochter Comtesse Elvira von Hendl verkaufte Schloss Kastelbell 1956 an den Italienischen Staat, bewohnte es aber noch bis zu ihrem Tod im Jahr 1998. Heute wird das Schloss von der Gemeinde Kastelbell-Tschars und einem Kuratorium verwaltet und ist stimmungsvoller Veranstaltungsort für Ausstellungen, Lesungen und Konzerte.Schloss Kastelbell besticht nicht nur durch seine Lage, sondern auch mit kulturhistorischen Schätzen.
So ist das Burgtor romanischen Ursprungs und konnte bei Renovierungsarbeiten wieder in seinen ursprünglichen Zustand rückgebaut werden. Sehenswert sind auch die verschiedenen Räumlichkeiten, insbesondere die Burgküche, die Erkerzimmer und die Wohnräume im Palas. Hauptattraktion ist sicherlich die Burgkapelle. In dem kleinen, schlichten Raum, der noch aus der ersten Bauphase der Burg stammt, finden wir ganz wunderbare, farbenprächtige und äußerst lebendige Fresken aus der Romanik und aus dem 16. Jahrhundert.
Schloss Kastell ist von Mitte April bis Ende Oktober für Besucher geöffnet und kann im Rahmen einer Schlossführung besichtigt werden.