浮気が心配(19歳・女性）

彼の浮気が心配です。私が考えすぎている場合がほとんどですが、きになってしょうがないです。
彼は浮気をしたことがないし、女友達もいない、さらに女の子と喋れない性格で人見知りなので浮気をする確率は少ないと思っていますが、本当に心配です。私は元彼に浮気されたことがあり、それを引きずってるのかもしれないです。でもそんなこと思ってても、彼氏に申し訳ないので考えるのをやめようと思いましたが無理でした。付き合って2年になります。遊び人でもない、浮気人でもない彼氏なのにどうしてこんなに心配なのでしょうか。そして、浮気とかが気にならなくなるにはどうしたらいいのですか