”Alle har vi været små” handler om en sammenbragt familie i flere generationer på Frederiksberg. Maria er en gammel 68’er, der vender hjem til Danmark efter mange år i udlandet. Hun har to børn med forskellige mænd, men har aldrig boet sammen med nogen af børnene. Da der bliver en lejlighed ledig, tilbyder hun sønnen Tomas at flytte ind med sin datter, og søsteren Malou helmer ikke, før hun får et tilsvarende arveforskud. I serien følger vi de tre generationers kampe med at lære at leve dør om dør med de næsten fremmede, der skulle forestille at være deres nærmeste.