年下の彼氏の気持ち(44歳・女性）

付き合って6ヶ月弱のひと回り下の彼氏がいます。
職場の下請けさんなのですが、彼の方からアプローチがあり3ヶ月後に付き合うことになりました。
職場の人達には内緒です。

付き合いだしてからは、私の方が好きと言う気持ちが大きくなり、彼の方が冷めているような感じです。

彼は自営業をしているので、朝から晩まで仕事をしていて休みもほぼないです。
私には子供がいるので、なかなか時間の融通も利きません。
デートはしたことがなく、ご飯に行ったのは3回で子供も一緒に行く日もありました。付き合って3ヶ月くらいまでです。
それ以降は会いたいやご飯のお誘いは私からですが、なかなか行けていません。
先日、子供がお友達のお家にお泊まりをしに行ったので、私も彼のお家に行きました。
（前日に決まったので断られたのですが、当日行くことになりました。）
LINEでのやり取りは、毎日続いてはいるのですが途切れることもあります。電話は基本しません。
途切れると私から連絡して続くみたいな。。。
先日、放置していたら珍しく彼の方から入ってきましたが。

彼の性格は、プライドも高いですし、来る者は拒まず去る者は追わずな感じです。
不器用とは言っていたのですが、冷たいなって思う事も多々あります。
ただ、会っている時はそうでもないです。

一度、彼が引くような行動を取ってしまった事があります。もうお別れされるかなと思っていたのですが、そんな事もなく続いています。

気持ちがあるから連絡を取ったり、お別れをしないで続いているとは思うのですが、もう少しご飯に行ったりしたいなと思います。

彼の行動に私への気持ちはあると思いますか？
直接聞けば早いことはわかっていますが、怖いのと聞けるような雰囲気にならずで。。。
もう少し一緒にいる時間を増やすにはどうしたらいいですか？