Desesperado

Hola espero me puedan ayudar, soy separado ya seis años y de esa relación tengo dos hijos un varón de 13 años y una niña de 7, hace cuatro me uní a mi actual pareja con ella tenemos una niña de 4 y un niño de 9 meses. Hace dos años los niños de la anterior relación vinieron a visitarme en mi casa y a conocer a mi nueva pareja y a su hermana, la relación entre mi pareja y mis hijos era muy buena es así que ellos se quedaban cada 15 días todo el fin de semana, pero a raíz que nació mi ultimo hijo las cosas cambiaron y mis hijos en especial el mayor se porta mal con los hermanos es irrespetuoso conmigo y con mi pareja actual, yo lo corrijo pero al parecer le vale. Bueno el punto es que mi actual pareja dice que ya no quiere que vayan a mi casa por que dice que son mala influencia para mi hija que tiene 4 años. NO se que hacer, e pensado incluso en irme de la casa pero me pongo a pensar en mis otros dos hijos.... realmente no se que hacer.
.