Vi må mye lenger tilbake i tid for å finne de som startet forminga av det ytterøyiske kulturlandskap.
Beliggenheten midt i fjorden, gjorde øya til litt av et midtpunkt i det meste av det som foregikk i regionen.
Fjorden var, før jernbane og bilens inntog, den raskeste og mest brukte transportåra. Alle som skulle innover fjorden måtte forbi Ytterøya.

Helt fra steinalderen (ca. 2000 f.kr.) har vi både spor i landskapet og gjenstander etter menneskelig aktivitet.
Det er hittil funnet 2 helleristninger på øya som anslås å være ca. 3-4000 år gamle. Begge er båtristninger.
Steinredskaper er også funnet.

Framover i bronsealderen (ca 1000 f. kr.) må det også har vært betydelig aktivitet på øya.. Et av de fineste funn som er registrert fra den tidsepoken ble funnet på Laugsand rundt 1930. Det er ei dekorert bronseøks som er ca 3000 år gammel.
dette og funn av 2 gedigne gullringer fra ca 300 e. kr. vitner om at det den gang var stor velstand i bygda.
De fornminner som kan sies å prege landskapet i dag, er av forskjellig alder.
Bautasteiner, og spesielt gravhauger, finnes det mange av. de fleste av disse stammer fra jernalderen (romertid, folkevandringstid, merovingertid) ca. 300-7000 e.kr.
Mange er godt synlige i dag, men det skal et trenet øye til å finne dem.
Bautasteinen på "Påssåhaugen" på Eid Prestegård er spesielt interessant. Den har både skålgroper og runeinskripsjon.

Driftige landbrukere har vært på øya i tusener av år. Vi må anta at et stort antall av gravhaugene og andre minner er gått tapt i iveren etter å legge nytt land under plogen.
Tidligere beretninger forteller om ansamlinger av hauger som i dag er borte. Antall innleverte funn av ulike slag er stort og variert.
Det er dessverre ikke gjort systematiske registreringer av det "hav" som finnes av fornminner på Ytterøy. Dette arbeide burde det snarest vært tatt tak i. Ytterøy bygdetun er en aktiv pådriver for å få i gang dette.