同性の恋愛についてです。(21歳・男性）

私は今、年上の男性の方と仲を深めています。まだ、お付き合いはしていません。私たちは遠距離なのですが、先月私が彼に会いに行き、双方の思いを確かめ合いました。普段からも、LINEで連絡を取り合っています。
　先日、彼への連絡に既読はつくものの返信が無かったり、その後の「おはよう」などの連絡に既読がつかず、不安になってしまい「しつこくてごめんなさい、嫌いになった？」と連絡してしまいました。
自分でも重いな、と思ってしまったのですが、どうしても心配で不安になってしまい連絡してしまいました。
　その後、彼から連絡が来て仕事が忙しくなかなか返せなかったとのことでした。連絡が来たことに安心し、私も「勝手に不安になって追うような形で連絡してしまった、ごめんなさい。連絡してくれてありがとう」のようなメッセージを返しました。その後、普段通り「おはよう、ゆっくり休んでね」などと私から連絡するようになりました。
　そして今日の夜、彼から連絡があり、色々と疲れているようで「しばらく1人で考える」とのことでした。そこで、私は「わかった。無理しないでね？落ち着いて、もし彼（名前）がよかったらまたお話ししたい」と返しました。まだ既読はついていません。
　もし「話すのやめよう」とか「会うのやめよう」とか言われてしまったらどうしようと、悪い展開ばかり想像してしまっています。私はこれからも彼と話したいし、もっと仲を深めていきたいと思っています。
この展開について、皆様どう思いますか？
私はどうしたらいいのでしょうか。
ご回答、よろしくお願いいたします。