Some more sentences for context:

« Je suis vraiment désolé pour le coup de téléphone. J’espère que les Moldus ne t’en ont pas trop voulu. J’en ai parlé à Papa et il m’a dit que je n’aurais pas dû crier comme ça. »

I get the general sense of it is to say “I hope they aren’t too upset with you.” But what’s the expression being used? I thought “s’en vouloir’ meant to be envious of something.