Dragør Lodseri havde siden 1740 haft til opgave i Sundet at udlægge og indtage sømærker eller vager (sømærker der flyder med en bundforankring). I 1841 bad man om at blive fritaget for dette, da det lagde for meget beslag på lodsernes tid. Ofte rev sømærkerne sig løs, og så måtte nye lægges ud. Samme år havde lodserne måttet gøre det 293 gange imod lodsning 91 gange. Ønsket om fritagelse blev imidlertid ikke imødekommet.
Reservesømærker skulle lodseriet endvidere opbevare fra 1842. Det krævede magasinplads, som lodseriet ikke havde, så man lejede sig ind i et pakhus nær ved havnen. Lejemålet blev imidlertid opsagt efter 3 år, og da lodseriet selv havde behov for magasinplads til sejl og andet grej, besluttede man sig for at bygge et magasin. Man lejede en grund ved havnen af byen og opførte her i 1845 det nuværende havnepakhus. Huset var opført i grundmur med tegltag, Gulvet var af sten og ler, og bygningen forsynet med 5 vinduer med skodder på hver side og 2 vinduer i den vestre ende. I den østre ende var en dobbelt port, i den vestre en dobbelt dør med et rundt vindue over, og i hver af gavlene var en dobbelt lem og 2 vinduer.
Først i 1894 var det slut med Dragørs forpligtelse med at passe sømærkerne og opbevare reserverne i pakhuset. Tilsynet blev overtaget af vagervæsenets folk, og reservemærkerne overgik til Lynetten.
Pakhuset blev endvidere benyttet til reparation og måske også bygning af lodsbådene, f.eks. var skibstømrer Pieter Pietersen Povels (1823-1906) ansat ved lodseriet til denne opgave.
Efterhånden mistede havnepakhuset sin betydning for lodseriet, så derfor solgte man i 1934 bygningen til Dragør Kommune. I 1964 blev bygningen fredet i klasse B.
Dragør Museum fik i 1970'erne magasinplads her, og i begyndelsen af 1980'erne planlagde man at benytte underetagen til udstillinger om lodseri, bjergningsvæsen, kadrejeri og fiskeri. Lodsernes gamle isbåd skulle også have sin plads her. Det blev dog aldrig realiseret.
Først i 1999 blev pakhuset lovformeligt overdraget til Dragør Museum for 550.000 kr., et beløb som blev doneret af skibsreder Per Henriksen. Efter en gennemgribende restaurering indrettedes pakhuset i samarbejde med kulturstyrelsen og arkitekt Lars Tøgern, således at det kunne fungere som museumscafé og udstillingssted.