Chùa chính chỉ rộng hơn 10m2 với các kết cấu chủ yếu làm bằng đá và gỗ "trơ gan cùng tuế nguyệt" suốt nhiều thế kỷ qua.
Cách trung tâm TP Hà Nội khoảng 20km, chùa Vô Vi nằm trên núi Vô Vi thuộc địa phận thôn Long Châu, xã Phụng Châu, huyện Chương Mỹ.
Ngọn núi đá Vô Vi nhỏ nằm tách biệt khỏi dãy núi Tử Trầm - còn gọi là núi Con Rồng; chùa Vô Vi được ví như viên ngọc, nằm chênh vênh giữa đất trời qua bao thế kỷ.
Cổng chính của chùa có ghi 3 chữ Hán là "Vô Vi Tự" cùng với hơn 100 bậc đá để lên Nhà thờ Tổ, Nhà thờ Mẫu, gian chùa chính cùng với vách đá treo chuông.
Tương truyền, Vô Vi là ngôi chùa cổ được xây dựng từ năm 968.
Thời Tiền Lê, chùa xây dựng ở chân núi Trạo có tên là Phúc Trù tự.
Đến thời nhà Trần, chùa được xây ở lưng núi gọi là Trai Tinh tự.
Thời Hậu Lê, niên hiệu Hồng Thuận thứ 6 (tức năm 1514) chùa dời lên gần đỉnh núi như ngày nay, đổi lại tên cũ là Vô Vi tự.
Chùa Vô Vi gắn liền với vị tướng Trần Văn Tăng, người xuất gia từ nhỏ. Sau khi chiến đấu dẹp thù trong giặc ngoài, ông lên núi Vô Vi dựng chùa ở ẩn. Là người thấm nhuần tư tưởng đạo Lão, ông đặt tên chùa là Vô Vi với tinh thần được biểu hiện trong bài thơ "Trùng phỏng Vô Vi tự" do chính ông sáng tác và khắc trên đá.