Allerede i 1965 havde Byrådet besluttet at anlægge en losseplads på Stige Ø, som fra 1967 og i de næste årtier voksede til store affaldsbjerge ved siden af Sorthusene. Det fik dog ikke husenes brugere til at opgive dem, selvom deres nye nabo aldrig blev rigtig populær. Kaj Munkebo, kendt som "Den Gamle", kaldte den ligefrem for "Borgmester Holger Larsens Skampletsbank".
Odense Sejlklub havde brugt Stige Ø til kapsejladser og lokaler siden 1929 og protesterede over, at øen nu skulle huse en losseplads. Det fik dog ingen betydning for beslutningen.
Journalisten Anders W. Berthelsen havde heller ikke megen ros til Sorthusenes omgivelser. I 1987 beskrev han dem således:
"Himlen er lysebrun af kulrøg fra Fynsværket, og spurvenes sang overdøves af lossepladsens hvide måger og gule bulldozere. Stanken af affald er stærkere end duften af nyrøgede ål, og mængden er heller ikke, hvad den har været. Tidligere gik der tyve pund i rusen på en nat. Nu skal man være heldig for at trække tyve magre ål op af Danmarks mest oversete og uglesete fjord."
Odense Renovation havde dog aldrig problemer med Sorthusene og en af medarbejderne på lossepladsen, Jan Andersen, fik endda lov til at lægge en båd derude og bruge et af husene.
I midten af 1980'erne lagde Odense Byråd op til, at lossepladsen på Stige Ø skulle udvides til Stige Ø Nord. Sorthusenes brugere brød sig ikke om denne plan og frygtede, at den ville betyde, at hele kolonien blev ryddet denne gang. Så sent som i 1986 udtalte "Den Gamle", at han ikke rigtig turde stole på et løfte fra rådmand Lennard Larson om, at der ikke blev rørt ved Sorthusene. For de havde jo kun kontrakt på et år af gangen.
Byrådets planer blev dog underkendt af amtsrådet og siden af miljøministeren. Og i Odenses nuværende lokalplanlægning betragtes det som et givent vilkår, at Sorthusene bevares.
Lokalplanen for området kan læses her.
