Отношения на стороне очень скоро станут заметны. Начнутся ссоры, обиды, скандалы и всё остальное. Придется принимать решение - либо там, либо здесь.
Ничего хорошего не получится в любом случае.
Я бы постарался любовницу забыть, наверное. Как это сделать - хз.