七美嶼島上的居民多半靠海維生，多半從事捕魚工作，因島上男人捕魚工作危險艱辛，出海捕魚時因船隻科技航行技術沒有像現在這麼的完善，時常發生危險，常常有去無回，早期曾有「寡婦之島」戲稱。當地居民相傳，在望夫石附近有著一對恩愛夫妻，每當丈夫出海時妻子總是到岸邊等待丈夫豐收的歸來，某日丈夫出海捕魚遲遲未歸，妻子隻身到岸邊等待丈夫歸航的身影，日復一日，終不堪飢寒，香消玉殞。後人將她安葬於海邊，望夫石為玄武岩塊，經過海水的長期侵蝕，石岸竟風化成一婦人仰躺的形貌，包括頭髮、身軀、雙足及懷孕的小腹唯妙唯肖，望夫石的傳說於是不脛而走。