Ông đã lập nhiều đại công, được vua Lê Lợi ban đặc ân chọn sinh phần (chọn phần đất khi còn sống). Lê Am đã chọn doi đất cao gần Sông Ngàn Mọ nơi dòng họ Hồ mai danh ẩn tích đổi thành họ Lê đã sinh thành và nuôi dưỡng ông.
Tháp đá cổ này xây dựng từ thế kỷ 16, được đánh giá là một di tích kiến trúc nghệ thuật độc đáo, cầu kỳ, hiếm có còn sót lại trên địa bàn Hà Tĩnh.
Tháp đá Cẩm Duệ có ba tầng, cao hơn 3m, được ghép từ những tấm đá nguyên khối. Bao quanh tháp là hệ thống tường dày khoảng 1m, cao 1,2m; được xây bằng gạch gồ (loại gạch nung riêng dùng xây đền chùa trước đây).
Điểm đặc biệt là toàn bộ ngôi tháp được tạo ghép bằng những phiến đá màu gan gà. Các phiến đá được ghép phẳng, vuông thành sắc cạnh, khi ghép vào nhau kết liền không có vữa lót kết dính.
Các vòm cửa và mái cong, vòm chóp, đỉnh tháp cũng được chế tác bằng đá khối.
Tầng thứ hai của tháp lưu lại 5 chữ Hán trên nền hình tròn nổi “Thiên cơ thân đức tạo” (người đức độ, cần mẫn tạo dựng nền tảng). Tầng thứ ba đặt hai pho tượng đúc bằng đá, bên ngoài có ba chữ Hán đắp nổi “tinh nhật nguyệt”.
Nhiều hạng mục đã được phục dựng lại nhưng vẫn giữ lại đường nét kiến trúc xưa.
Những bức tường cổ được ghép tỉ mỉ, đẹp mắt.
Bên trong khuôn viên am tháp có tượng ngựa và voi bằng đá.
Theo người dân địa phương, tháp đá này khoảng hơn 500 năm tuổi, rất linh thiêng. Vì thế vào ngày Rằm hay dịp lễ, Tết người dân đến đây thắp hương rất nhiều. Hiện ngôi tháp đang được giao cho một người trong dòng họ Lê trông coi.