Norske femteklassinger er blant de beste i Europa i matematikk og naturfag, men resultatene synker på ungdomsskolen, viser en internasjonal undersøkelse.