Bingo! Hadde pillow 4.1.0 installert, og den ser ikke ut til å støtte append til pdf-filer.

Ga meg 5.2.0 og alt løste seg.