Manipulation

Bonjour,
Je suis maman d'un petit garçon de 5 ans et séparée depuis Septembre 2010, nous sommes en garde alternée depuis le départ. Mon fils s'est très bien adapté car nous faisons en sorte de le laisser en dehors de notre séparation sur le plan émotionnel et organisationnel, il ne voit pas de tristesse ou de malaise donc pour lui tout va bien et c'est le principal. Ma situation est la suivante, je suis au chomage et recherche un nouvel appartement car celui que j'ai pris en vitesse lors de notre séparation n'a qu'une chambre.
Depuis quelques semaines, son père s'imisse dans ma vie privée, veut savoir ce que je fais, avec qui et pourquoi, ce qui nous met tous les deux dans une situation conflictuelle. Je pense que ma vie privée ne le regarde pas, surtout que je protège notre fils de cette vie privée qui ne regarde que moi.
De plus, lorsque c'est à lui de le prendre pour la semaine, il y a toujours un hic. Ou il travaille le week end (sans que ça soit clairement prévu à l'avance) ou notre fils est malade et ne peut pas s'en occuper car il travaille, et il me demande de le garder.
Ma question est la suivante: Le fait que je ne travaille pas (ce qui ne durera pas d'ailleurs) peut -il lui servir d'excuse pour m'imposer ses besoins et son manque de gestion et d'organisation quant à la garde de notre fils?
Personnellement, je pense que s'il ne peut pas gérer son planning, nous changerons de mode de garde car je ne suis plus sa compagne et donc n'ai plus envie de lui faciliter la vie, et surtout j'aimerais commencer à vivre la mienne.
Qu'en pensez vous, devrais-je etre à sa disposition?

Je suis allée à la médiation familiale cette après midi et la médiatrice m'a donné raison même si rien n'est établi au niveau de la loi, si nous avons choisi ce mode de garde, c'est afin que chacun puisse passer du temps avec l'enfant pour les bons moments mais aussi pour toute l'organisation qui en découle.
C'est donc à lui de gérer quand c'est sa semaine de garde et il n'a pas à m'imposer de le garder sous prétexte que je suis sa mère.