自分とは釣り合っていないと思う彼氏の言動でモヤモヤしている。考え過ぎ？(24歳・女性）

彼とは就労支援で出会いました。
今、1年ぐらい付き合っています。
その間色んな事があり、自分から何度も別れを告げました。
でも、彼は何度も別れたく無いと言ってくれて、自分も彼が好きなので付き合いを続けていました。
でも、何となく彼が、自分を好きだから別れを嫌がってると思えなかったんです。
彼は芸能人並みのイケメンで器用な方で友達も多いと思います。
正直自分と付き合う意味が分かりませんでした。
でもよく考えたら彼は就労支援を利用している事が恥ずかしくて周りに言えてないんです。
なので、他に彼女を作りたくても、就労支援の事を話さないといけなくなるので、彼女を作れなくて、就労支援で出会った自分と付き合ってるのでは？と思い始めました。

そしてこの間彼は就労支援を出ました。
そのちょっと後にまた、彼に別れを告げました。
そしたら今までみたいに止めずに「分かった」と言われてしまい、余計その思いが増してきました。
結局別れて一週間ぐらいで自分から謝り、彼も「嫌いで別れた訳じゃないから別れは無かった事で良いよ」とは言ってくれました。
今まで、凄く変わらず優しくて愛情表現もしてくれています。
でも、別れた時の言動といいどうしてもモヤモヤが残っています。
考え過ぎですか？