TFRecordファイルを読み込んでfitメソッドに渡そうと思ったんだけど、これがなかなか情報がなく苦労した。。 TFRecordを読み込んでfitメソッドに渡すところは以下のGistを参考にしてできた。 Training Keras model with tf.data · GitHub
InputLayerやcompileメソッドにtrainやvalidation用のtensorを渡すコードを公開してる人が多いけど、 最近バージョンではfitメソッドにiteratorを渡せばいいっぽい。 その際iteratorはタプルを返すようにし、0番目が画像データ、1番目がラベルデータになるようにすればOK。
TFRecordファイルを作成するところについては以下を参考にすれば書けると思う。
色々検索して探し回ったけど、公式ドキュメントが一番しっかり書かれてるし最新の情報なのでまずはこれを参考にするのがおすすめ。