Từ ngày chuyển Phủ Toàn quyền về đây làm việc, Decoux đă cho xây dựng những đường hầm bí mật rất kiên cố nhằm bảo đảm an toàn tuyệt đối cho ông và gia đ́nh. Đường hầm này được nối vào hầm chứa rượu với bề ngang chừng 1,5m và bề cao hơn 1m cùng nhiều ngóc ngách được đổ bê tông chắc chắn.

Dưới thời Ngô Đ́nh Diệm, Dinh II trở thành nơi nghỉ mát của gia đ́nh Ngô Đ́nh Nhu. Năm 1964, khi tướng Nguyễn Khánh lên nắm quyền trong bối cảnh chính trị đầy bất trắc, ông đă chọn Dinh II làm Tổng hành dinh trong mùa nghỉ mát và cho tu bổ, xây dựng thêm các đường hầm bí mật lên tận sườn đồi theo hướng đông nam và tây bắc pḥng khi có đảo chính.