Đền Kỳ Sầm, một di tích lịch sử cấp quốc gia, uy nghi tọa lạc trên đồi Khau Sầm, thôn Bản Ngần, xã Vĩnh Quang, thành phố Cao Bằng. Ngôi đền không chỉ là biểu tượng văn hóa mà còn là nơi thờ tự vị anh hùng dân tộc Nùng Trí Cao (1025-1053), một danh tướng thời nhà Lý. Trải qua nhiều lần trùng tu và tôn tạo, đền Kỳ Sầm ngày nay mang vẻ đẹp kiến trúc độc đáo và là một trong những ngôi đền lớn nhất tỉnh Cao Bằng.
Kiến trúc của đền Kỳ Sầm mang đậm phong cách thời Nguyễn, với bố cục hình chữ “nhị” bao gồm nhà bái đường và hậu cung. Tại bái đường, một ban thờ được đặt trang trọng. Hậu cung có ba ban thờ, chính giữa thờ Nùng Trí Cao, bên trái thờ mẹ của ông là A Nùng, và bên phải thờ ba người vợ của ông: Vương Lan Anh, Đoàn Hồng Ngọc và Trần Thị Cẩm. Những đồ thờ quý giá như đôi hạc đồng, lư hương, chuông đồng… được nhân dân cung tiến thể hiện lòng thành kính với vị dũng tướng. Cây cối xanh tươi, đặc biệt là những cây đa cổ thụ, tạo nên không gian trầm mặc và linh thiêng cho ngôi đền.
Nùng Trí Cao, sinh năm 1025, là con của thủ lĩnh Nùng Tồn Phúc. Từ nhỏ, ông đã nổi tiếng thông minh, hiếu động và có năng khiếu đặc biệt về văn võ. Năm 1038, Nùng Tồn Phúc lập nước Trường Sinh, xưng Chiêu thánh Hoàng đế, nhưng sau đó bị vua Lý Thái Tông chinh phạt. Nùng Trí Cao cùng mẹ trốn đến động Lôi Hỏa và bắt đầu xây dựng lực lượng.
Năm 1041, Nùng Trí Cao lãnh đạo quân chiếm lại châu Thảng Do và lập nước Đại Lịch. Mặc dù bị triều Lý bắt giữ, ông được tha bổng và giao cho cai quản châu Thảng Do, đồng thời được phong làm châu mục Quảng Nguyên. Năm 1043, vua Lý Thái Tông phong ông chức Thái Bảo. Đến năm 1048, Nùng Trí Cao khởi binh, đánh chiếm nhiều vùng đất và xưng vương, lập Nam Thiên Quốc với niên hiệu Cảnh Thụy.
Năm 1052, Nùng Trí Cao dẫn quân đánh chiếm Ung Châu và Quảng Châu, tự xưng Nhân Huệ Hoàng đế, đổi niên hiệu Khải Lịch, quốc hiệu Đại Nam. Tuy nhiên, năm 1053, ông thất bại trước quân Tống do tướng Địch Thanh chỉ huy và phải chạy đến Đại Lý.
Để tưởng nhớ công lao của Nùng Trí Cao, nhân dân nhiều nơi đã lập miếu thờ. Nhà Lý sắc phong ông là Khau Sầm Đại Vương và lập đền thờ tại Bản Ngần. Đền Kỳ Sầm được phong Thượng Đẳng thần và trải qua các triều đại, được gia phong nhiều mỹ tự, ca ngợi công đức hộ quốc an dân của ông. Năm 1993, đền Kỳ Sầm được Nhà nước xếp hạng Di tích lịch sử cấp quốc gia, khẳng định giá trị lịch sử, văn hóa to lớn của di tích này. Đền Kỳ Sầm không chỉ là một điểm đến tâm linh mà còn là một minh chứng cho lòng yêu nước và truyền thống văn hóa của người dân Cao Bằng.