Vous avez le droit de vouloir être à l'aise avec tous les invités de votre liste. Si ça vous gêne de recevoir ses ex, dites-lui. C'est aussi votre mariage ! Même si vous avez l'impression de paniquer, cela ne veut pas dire que vous devez tout prendre avec le sourire.
Par contre, si vous pensez que vous vous sentirez mieux si ses ex ne sont pas là parce que leur présence est une menace pour votre relation, il faut vraiment que vous en parliez. Votre fiancé doit respecter vos sentiments.
En ce qui le concerne, il pourrait très bien nourrir des sentiments de vengeance, comme vous le dites. En faisant venir son ex à votre mariage, peut-être veut-il lui prouver qu'elle avait tort de le quitter. Et le fait qu'il cherche à garder contact avec les ex qui se sont mal comportées avec lui pourrait bien refléter sa propre inquiétude. Il me semble que vous devriez avoir une bonne discussion sur les rapports en général (sur votre possible séparation également), et vous assurer que vous allez vous marier en allant tous les deux de l'avant, et non pas en regardant en arrière.