元カレとLINEで再会して、会うようになりました。 その頃はちょうど私は

元カレとLINEで再会して、会うようになりました。
その頃はちょうど私は、離婚したばかりで、精神的にも病んでいました。元カレにすぐに会いたいと言われ、病んでた私も嬉しくて会ってしまいました。それから、よく会うようになり、私を元気づけてくれたりして、度々会ううちに毎晩泊まることも多くなりました。その頃は仕事はしてなくて毎日づくめでパチンコで生活費を嫁に渡してました。そんな生活も長く続くこともなく、嫁に仕事をしてないことがバレて、別れる別れないの話になった途端、訳ありで、普通の仕事ができず、山のみかん収穫の仕事をするようになり、かれこれ一年近くになるのかな？今は真面目になって頑張ってます。最初の頃は疲れてても仕事終わってから会いに来てくれたりしてました。
仕事が大変で毎日、疲れたと言っては会いに来てくれたり、庭の草刈りなど、色々助けてくれてました。この１ヶ月はLINEと電話はあるものの会いには来てくれなくなりました。私も今のままぢゃ、ダメだと気付き電話も無視したり、わざと連絡を途絶えてます。が、最近また、急に会いたいと言い出して、私は、今また会うと自分が虚しくなるだけだから、連絡をとってません。LINEもこちらからしないと、来なくなりました。
私は、これからも、ずっと会わないでいた方がいいのでしょうか？正直、会いたい気持ちはありますが、浮気はされたら辛いのが一番わかります。このままそっと消えた方がいいでしょうか？
ずっと悩んで悩んで答えが出ず相談しました。アドバイス宜しくお願いします！