Litige avec un parent

Bonjour, Je suis actuellement en litige avec le grand père maternel de mon enfant ( 6 ans) qui suite à des conflits avec sa fille a décidé de faire valoir son droit d'hébergement et de visite sur notre enfant. Nous sommes séparés depuis 2013 et la résidence habituelle est fixée chez la mère, je vois tout de même ma fille le week end des semaines impair et du mardi 18h au mercredi 18h pour les semaines pair. Le droit établis du grand père impact régulièrement sur mes droits. De plus il exige de moi que je dépose l'enfant devant chez sa mère ,la résidence habituelle y étant fixé.Néanmoins j'estime qu'il serait tout de même préférable qu'il vienne la récupérer chez moi pour éviter les ballotages incessants. Il m'inonde de courrier et de menaces et je ne tolère plus son agressivité. . .Suis je donc aux regards de ces informations forcé de lui déposer devant la résidence habituelle, ou étant le père mon domicile peut il être considéré comme résidence habituelle face aux droits du grand père maternelle. De plus je suis en très bon terme avec la mère de mon enfant avec qui je compte faire bloc contre les droits en cours du grand père. Ce fait supplémentaire peut il avoir une plus valu pour dénouer ce problème? J’espère avoir été assez claire, je sais que ce type de situation n'est pas très commun ce qui explique mon besoin de réponses. Merci d'avance, Cordialement.