Under 50- och 60-talen bildades många jazzorkestrar som spelade dixielandmusik. Det var den musik som dominerade på skoldanser och fritidsgårdar. För Cave Stompers del började en nu snart 60-årig karriär 1956 och är därmed en av de äldsta, ännu aktiva, orkestrarna. Initiativtagare var Anders Hässler som ledde orkestern under 10 års tid. Efter en paus på 20 år återkom Anders och var med fram till slutet på 90-talet då han flyttade till Nås i Dalarna.

Med åren har musiken blivit mer renodlad med betoning på klassisk jazz; blues, stomps, rags. 1968 skedde en förändring i besättningen då blåsartrion tog sig ett nytt komp och bildade Cave Brass. Cave Stompers fick nya blåsare och orkestern fortsatte i sin traditionella stil. Vid den här tiden startade jazzpuben Stampen i Stockholm sin verksamhet och Cave Stompers kom under en rad av år att vara ett av husbanden med spelningar varje vecka. En av höjdpunkterna var när den legendariska trumpetaren Wild Bill Davison gästspelade med orkestern vid några bejublade framträdanden. 1975 utsågs Cave Stompers till årets Stampen-stipendiat och det var då första gången som stipendiet delades ut till en grupp.

Idag är sättningen fortfarande den klassiska med trumpet, trombon, klarinett, banjo, bas/tuba och trummor.