Maleriet viser flere medlemmer af Skagensmalerne: danske, norske og svenske kunstnere. I 1884 flyttede Anna og Michael Ancher ind i et hus på Markvej 2, som de havde købt. Maleriet blev påbegyndt i 1884 inspireret af en fest i husets have. Maleriet var inspireret af fem fotografier fra festen i Anchers have af den tyske kunstner Fritz Stoltenberg, selv om personerne på fotografierne og maleriet ikke alle er de samme.

Krøyer kom uopfordret til Anchers hus morgenen efter festen med sit staffeli og farver, ivrig efter at begynde at tegne, og forventede frihed til at komme og gå som han ville. Hans manglende hensyntagen irriterede Ancher, som først for nylig var flyttet til huset for at slippe for bylivets stress og jag. Det medførte de to kunstneres første alvorlige konfrontation. Selv om de forsonedes kort efter, fik Krøyer ikke ubegrænset adgang til Anchers have, som han havde forventet, og frustreret kæmpede han for at komme videre med arbejdet.

Han færdiggjorde arbejdet i Anchers gamle lejlighed og arbejdede ud fra fotos og fra de besøg i haven, hvortil han var inviteret ved andre lejligheder. Det tog fire år, før han kunne fuldende billedet. Helga Ancher, Anna og Michael Anchers datter, som ikke var et år gammel ved festen, er vist ældre i det endelige maleri. Det tyder på, at hun først kom med senere. Et billede af maleriet i Krøyers atelier viser en anden opstilling uden Helga.