職場の女性が気になる存在になりました。どうしたら良いですか？(42歳・男性）

職場の女性から飲みに行くのを誘われました。
この女性は半年ほど前にバイトとして入り知り合いました。特に意識せずシフトが一緒の時はお話ししていました。業務のことも含めですが。
（以前相手から女の子を紹介しようと思っていると言われ、若い女の子なのでそこまで乗り気はなく、飲み友達でもいいんだけどねと、自分が答えていました。その後特に相手から紹介の話はなく、こちらからも催促は一切しませんでした。）
飲みに誘われた時に飲み友達がほしいと言ってたでしょと言われたので、まぁ特に深く考えずにいいよと私が答えましたが、その女性の連絡先を聞く事を忘れ後日LINE交換しました。
そこから、候補の日にちを言われ、ではこの日に行こうとなりました。女性が5時にバイトが終わるのでその後にお店で待ち合わせとなり2軒目も行き、5時間程一緒に飲んでいました。
お互いかなり酔いましたが進展はなかったです。相手が翌朝からバイト入っており代行で帰る事を聞いていましたし、自分が職場の人と付き合った事がなくとりあえず初めは何もなくを心構えでおりました。スキンシップもないです。
話の中で映画を見に行きたいと言っていたので、軽い感じで観に行こうよと伝えました。1ヶ月ほど開くねと相手が言ってきたので、じゃそれまでに一回挟んで遊ぼうよと自分が言い、ではこの日でとなりました。飲み終えて車まで10分程歩き、手繋ぐか腕組み事を考えましたが、やっぱり職場の人だからとか嫌われたくないとか思い何もせずに帰りました。家に着いてからとっても楽しかったですねと、またこの日に飲みましょうと相手から連絡があり、翌日同じような文面で自分も送って今に当たっております。
自分としては、前向きに進めたいなと思ってます。自分は転勤有りの仕事なので現在地方で働いています。
色々と気になる点があります。それは話の中であなたは大阪に帰りたいんでしょ、いつか帰るんだからと相手から言われました。それに対しては自分は地元に帰りたいとかは考えてないよと言いました。そうなんだとビックリしたような態度をとっていました。
あと、あなたは母親に孫の顔を見せるのが親孝行よと言われました。特に返答はしなかったです。
この2点あたりが自分がひっかかっていると言うか距離を取られているのかなと感じています。
どうかご教授をよろしくお願い致します。