周囲4
km、標高60
mほどの
陸繋島である。
三浦丘陵や
多摩丘陵と同様に
第三紀層の
凝灰砂岩の上に
関東ローム層が乗る地質である。古来は
引き潮の時のみ洲鼻(すばな)という
砂嘴(さし)が現れて対岸の
湘南海岸と地続きとなって歩いて渡ることができた。
関東地震で島全体が隆起して以降は地続き傾向にある。対岸の
片瀬川河口付近の形状が時代とともに変遷し、
満潮のときのみ冠水した時期、常時陸続きとなった時期とあり、砂嘴の位置も移動している(
2009年5月現在、砂嘴の位置は江の島側で2000年代初頭よりもやや東に移動しており、満潮時には冠水する)。島の周囲は切り立った海蝕崖に囲まれ、ことに
波浪の力を強く受ける島の南部には下部には海蝕台(波蝕台)が発達する。1923年の
関東地震の隆起で海面上に海蝕台が姿を現し、隆起海蝕台(岩棚)となった。ここは観光客の休憩や磯遊び、磯釣りの場を提供する。海蝕崖の下部には
断層線などの弱線に沿って波浪による
侵食が進み、
海蝕洞が見られる場所があり、「岩屋」と呼ばれている。さらに侵食が著しくなると、海蝕洞が崩壊し、大きな谷状の地形となる。江の島の中央部には南北から侵食が進んで島を分断するような地形があり、「山二つ」と呼ばれている。これより東部を「東山」、西部を「西山」と呼ぶ。東山の北東部には北西 - 南東方向の平行する3本の断層と、それに直交する断層が想定され、地形・地質を複雑にしている。
「緑の江の島」と歌われるように、島の上部は
照葉樹林と呼ばれる
常緑広葉樹林に覆われている。この森林は1988年、
かながわの美林50選に選定されている。主要樹種は
スダジイ、
タブノキ、
クスノキ、
ヤブツバキ、
ヤツデ、
アオキなど。林床には
ツワブキなどの他、多種類の
シダ類が見られる。江の島には1979年 - 1991年
アメダスの観測点が置かれていたが、当時の記録によると藤沢市内陸部に比べて
気温は約1℃ほど高く、これは周囲の海面温度の影響を受けるためである。
海洋性気候と呼ばれる気温の較差が小さく、相対的に降水量の多い気候特性を持つ。
卓越風の風向は南南西で、風の通り道になる「山二つ」では、植物の風衝扁形が著しい。海蝕崖が多い島の下部は植生が乏しい。潮風を常に受けるため、耐塩性・耐乾性の高い
イソギク、ハチジョウススキ、ラセイタソウなど限られた種がみられる。東部埋め立て地の人工植栽にも、
トベラ、
シャリンバイなどの耐塩性の高い樹種が選ばれている。また、温暖な気候を利用して開かれたコッキングの植物園や、その跡地を利用した江の島植物園に植栽された熱帯・亜熱帯産の外来植物の中には、江の島の風土に根付き、成長・繁茂している例も多い。そのうち4種は藤沢市の
天然記念物に指定されている。
四囲を海蝕崖に囲まれた険阻な地形、海蝕洞「岩屋」の存在は、古来宗教的な修行の場として江の島を特色づけてきた。奈良時代には
役小角が、平安時代には
空海、
円仁が、鎌倉時代には良信(慈悲上人)、
一遍が、江戸時代には
木喰が参篭して修行に励んだと伝えられている。に
源頼朝の祈願により
文覚が
弁才天を
勧請し、頼朝が
鳥居を奉納したことをきっかけに、代々の将軍や
御家人が参拝したといわれる。鎌倉時代以後も、その時々の為政者から聖域として保護され、参詣されてきた。弁才天は水の神という性格を有し、また、歌舞音曲の守護神とされたため、
歌舞伎役者や
音楽家なども数多く参拝した。ことに音曲に関連する職業に多い
視覚障害者の参拝も見られ、中でも関東総
検校となる
杉山和一の存在は特筆すべきである。参拝者のための
宿坊も門前に軒を連ね、関東一円に出開帳を行うなどの活動も見られた。宿坊の中でも岩本院(江嶋寺=こうとうじとも呼ばれた)は有名で、現在の旅館「岩本楼」の前身にあたる。