飛島の西方沖に浮かぶ烏帽子群島は火山活動によってできた小さな島々です。ここには、火山岩が急に冷え固まったときにできる「柱状節理」が見られ、飛島の成り立ちを知るジオサイトのひとつとなっています。島ではこの柱状節理の岩島を「材木岩」と呼び、次のような物語が伝えられています。

かつて飛島を訪れた弘法大師は、離れ島の不便を哀れみ、本土と島とのあいだに橋を架けようとしました。弘法大師はその法力によって一夜のうちに橋をつくりましたが、あと少しで橋が架かるというところで島の若者が鶏の鳴き真似をしてしまいました。その途端、橋はがらがらと崩れ落ちました。「材木岩」はこの橋桁が流れ集まってできた島だと言われています。

大地の営みによって、島にはさまざまな自然の造形が見られます。飛島のジオストーリー（人と大地の物語）は、仏教的に解釈された風景や、漂着・漂流にまつわる伝説のなかに多く見い出すことができます。