이 서원은 거제 유림 윤도원(尹道元), 옥삼헌(玉三獻), 김일채(金一彩), 윤명한(尹命翰), 허유일(許愈一), 신수오(辛受五) 등이 문정공(文政公) 우암(尤庵) 송시열(宋時烈)의 학문과 덕행을 추모하기 위해 1704년(숙종 30년) 창건하였다.
그 후 문청공(文淸公) 죽천(竹泉) 김진규(金鎭圭), 충헌공(忠獻公) 몽와 김창집(金昌集), 부제(副提) 학공(學公) 이중협(李重協), 문충공(文忠公) 민진원(閔鎭遠), 정문공(正文公) 김수근(金洙根)이 추가로 배향(주1)되었다.
1868년(고종 5년) 흥선 대원군의 서원철폐령으로 철폐되었으나, 1906년(광무 10년) 거제 유림에서 서원의 옛터에 제단과 반곡서원유허비(盤谷書院遺墟碑)를 세우고 매년 가을에 단제를 봉행하였다.

1971년 거제향교 전교 윤병재(尹炳材)가 서원의 복원을 발의하고 유림총회의 득찬으로 1974년 우암사(尤庵祠)를 중건하고, 인접 지역 고택 3채를 철거하여 나온 부재로 강당을 보수하여 개축하는 등 옛 모습을 되찾았다. 2010년부터 2012년까지 3년간의 대대적인 복원 사업을 진행하여 현재의 모습을 갖추게 되었다.