在潮音洞旁，有一堵黄色矮墙围着三间质朴的佛堂，佛堂中终年香烟缭绕，这就是不肯去观音院。1980年重建。相传，在唐咸通四年，日本僧人慧锷从五台山请得观音佛像泛舟回国，行至莲花洋新罗礁附近，遍海莲花，舟不能行，慧锷大师便向佛像祷告“若我国众生无缘见佛，当从所向建立精蓝”。船终于在潮音洞旁泊岸，有当地居民张氏睹此灵异，遂舍宅供奉佛像，被称为“不肯去观音院”，这就是“佛选名山”———普陀山成为观音道场的开始，故历来被视作普陀第一庵，香火兴旺，不同寻常。五代后梁贞明年间（917）迁址于灵鹫峰麓（即今普济寺之前身），潮音洞上的旧址因而湮没。
　　1918年8月，戊戌变法失败后，康有为先生到普陀山小憩并作诗述怀：“观音过此不肯去，海上神山涌普陀。楼间高低二百寺，鱼龙轰卷万千波。云和岛屿青未了，梵杂风潮音更多。第一人间清净土，欲寻真歇竟如何？”