På 1850-talet kom hamnbyggnaden till och hamnen fick då i princip den utformning som gäller än i dag.

En någorlunda skyddad vik, en av de få på Vätterns östra sida, gjorde att Hästholmen blev en populär landstigningsplats för vägfarare under 1100- och 1200-talen. Sjövägen Hästholmen — Hjo var en bra förbindelse mellan östra och västra Sverige både för person- och lasttrafik. Under 1300-talet var trafiken livlig och Hästholmen
blomstrade.
På 1300-talet var Hästholmen en av fyra städer i Östergötland med eget stadssigill. Enligt handlingar från 1384, finns avtryck av ett sigill varpå det står "Villa Hestolmiensis", vilket skall kunna betyda stad eller fäste. När Vadstena kloster hade byggts, avtog trafiken till Hästholmen och ortens betydelse minskade. Fram till 1800-talet ökade transporterna till framförallt jordbruket. Man tog in förnödenheter, gödsel och foder samt skeppade ut spannmål och virke frånhamnen. Från början fanns det ingen hamnanläggning så de större fartygen fick ankra på "redden". På 1850-talet kom den egentliga hamnbyggnaden till och hamnen fick då i princip den utformning som gäller än i dag.
1897 byggdes den nuvarande fyren.

Järnvägsnätet byggs ut

Järnvägsnätet Ödeshög — Vadstena — Fågelsta (smalspårig) och Mjölby — Hästholmen (normalspårig) byggdes båda
med stickspår till hamnen. Reguljär båttrafik och skutor lastade med bland annat salpeter, spannmål och timmer förekom redan 1861. Ångaren Trafik byggdes 1898 på Bergsunds varv. Den gjorde reguljära turer Hjo — Hästholmen med kreatur, gods och resande ända fram till 1950-talet då järnvägarna lades ned.

Hamnbolaget Hästholmens hamn och Magazinsbolag bildades

Hamnbolaget Hästholmens hamn och Magazinsbolag bildades 1856. Namnet Hästholmen har, enligt Ellen Key,
uppkommit av att Magnus Ladulås med följe brukade sitta upp på sina hästar just här, efter färder över Vättern från borgen på Visingsö. Magasinet, siloanläggningen, hamnstugan på berget och båthusen för yrkesfiskarnas båtar
tillkom allt eftersom. Bolaget iordningställde en bättre hamn och det byggdes en brygga.

En insomnande hamn

I mitten på 1950-talet avtog transporterna. De små fartygen blev olönsamma och järnvägarna lades ned. På 1960-talet försvann de två spannmålsfirmor som funnits under lång tid. Hästholmen somnade in. Endast någon enstaka turisttur med ångbåten "Trafik" förekom under sommarhalvåret. I början av 1970-talet grydde en ny era för hamnen - fritidsbåtar. Intresset för sjöliv ökade och fritidsbåtarna tog över hamnen. I dag finns det plats för totalt 150 båtar.
Bolaget har en brokig historia. Aktiemajoriteten har ägts av SJ, senare Göta Lantmän och slutligen av Ödeshögs
kommun.

Hamnens byggdes ut

Sedan 1974 har tankar om hamnens framtida utformning ventilerats i olika omgångar. I augusti 2002 sökte och fick bolaget bidrag från EG:s strukturfond Mål 2 Södra. Inklusive bidrag från länsstyrelsen, landstinget, Östgötastiftelsen, Ödeshögs kommun samt insatser från hamnbolaget självt, gavs ekonomiskt utrymme för projektet. Samråd med berörda myndigheter, sakägare, miljökonsekvensbeskrivning, miljödom, fastställande av ny detaljplan och
upphandling tog tid. Den hödyrnn 2004 påbörjades äntligen arbetet. Huvudentreprenör blev BEFAB Schakt AB
med PEAB Sverige AB som underentreprenör. Teknisk konsult har varit Olle Elfver, Jönköping. Kompletterande
flytbryggor med tillbehör har levererats av Svenska Flytpontoner. Dessutom har förbättringar av serviceanläggningar med mera genomförts. Den "nya" hamnen invigdes den 3 juli 2005. Under våren 2007 förbättrades piren efter
stormen Pers härjningar.För att ytterligare förbättra hamnens attraktivitet och service gjordes flera
investeringar under 2010 – 2014 finansierade av EU:s fiskerifond genom FOG - Vättern, LOVA-medel via länsstyrelsen och pengar från Regionförbundet Östsam. Servicebyggnadens tillgänglighet för funktionshindrade förbättrades.
Toalettömmare och spolplatta installerades för bättre service till båtarna, liksom att kajen mot flytbryggorna förbättrades. För fiskare upprustades båtrampen och det byggdes ett fiskrenshus med möteslokal, omklädningsmöjligheter även för andra gäster och en miljöstation.

Silon och magasinet

2012 tecknas en avsiktsförklaring med PEAB Bostad AB om byggnation av 38 bostäder i hamnen. Hösten 2018 meddelade PEAB att man inte avsåg att genomföra den planerade byggnationen i Hästholmens hamn. Silon revs våren 2019 och iordningställdes tillfälligt som P-plats för bilar och husbilar.

Fusion av Hästholmens Hamn- och Magasin AB

I mars 2018 beslöt kommunfullmäktige i Ödeshögs kommun att hamnbolaget ska fusioneras till Ödeshögsbostäder AB. Ett av Sveriges äldsta bolag gick därmed i graven efter 162 år.

Sommaren 2020

Inför sommaren 2020 gjordes en större satsning i hamnområdet.

• Lokalgatan och gång- och cykeltrafik separerades från fordonstrafik.
• Fram till gångfartsområde, parkering, hamnplan m.m är gångfartsområde där gående har företräde.
• Hämta/lämna zon till badplats.
• Cykelställ med estetisk utformning som löv vid badplats, uppe+nere, vid dessa är det lagt smågatsten.
• Nya gångar till klubbhus och fryshus samt planteringar längs med dessa fasader. Träd planteras och gräs framför klubbhus.
• Nya belysningsstolpar.
• De tre övernattningsstugorna fick en ny placering ett stenkast från vattnet i väster.
• Längs med kajkant i väster utökades det bilfria området.
• Bänkar och blomlådor placerades ut.

Badplats

• Området för badplatsen utökades och träd och en halvmåneformad plantering anlades för att rama in badplatsen och samtidigt skapa ett rum mellan lekplatsen och cykelvägen.
• Mur mot cykelparkering uppe, markerade hål i öppning i nya trästaketet med pelare i murblock.
• En lekplats för mindre barn byggdes i anslutning till badplatsen som ett komplement till lekparken vid Hamngatan.

Vid magasinet

• På västra sidan, vid lastintaget till restaurangen rensades det upp och ett nytt plank kom upp runt varuvagnarna.
• En mur mot kullen (Husbacken) och utökade med ytterligare sprängsten.
• En ny trapp skapades upp till Husbacken och fick därmed en annan placering för att ligga mer synlig.
• Framsidan av magasinet ny asfalt och gångstråk med smågatsten.
• Utökades med flera planeringslådor och fasta bänkar mot magasin.
• Grillen till restaurangen har rivits och trapp till kullen är nu mer synlig.
• Uteserveringen fick en terassmarkis
• Flyttade parkeringar på gavel av magasin för att skapa yta för att ta sig från ena kaj sidan till andra på ett bilfritt område.