마을 뒷산에 약 6000평이 되는 넓다란 평지가 있는데 높은 산봉우리 바로 밑에 있는 이곳을 언제부터인가 사람들은 절터라고 부르고 있다. 구전되어 오는 얘기로는 옛날 어떤 도사가 이곳에서 지팡이를 한 번 두둘겨 절터를 만들어 절을 짓고 불공을 드렸다 한다. 하루는 상좌아이가 부처님에게 공양을 드리기 위해 쌀을 씻던 중 그만 잘못하여 수십길 벼랑 아래로 떨어져 죽어 도사가 이곳을 떠나면서 지팡이를 쳐 산봉우리를 무너지게 하여 절의 흔적을 없애 버렸다하는 얘기가 전해 내려오고 있다. 지금도 상좌아이가 쌀을 씻던 곳을 "뜨물통"이라 부르고 있으며 쌀을 씻던 절벽 위에는 하얀 쌀 뜨물 흔적이 남아 있다.   현재 대부분의 주민들은 옛날에 실제로 절이 있었을 것으로 믿고 있는데 이를 뒷받침하는 것으로 "귀객기"에 의하면 고려 명종조 보조국사가 금오도의 송광사와 조계산 송광사 간을 왕래하면서 돌산 은적암에서 휴식을 취하였다는 기록이 있다.