明治４年、御親兵が設けられた際に、土佐藩から騎兵二個小隊８７名が参加。土佐藩では明治２年にフランス士官を招聘して騎兵を創設した。鎮台が設置された明治６年の時点に於ける騎兵兵力は近衛騎兵大隊、騎兵第一大隊合わせて約５００名だった。
指揮を採るべき騎兵将校は、秋山好古が士官学校を卒業した時は卒業生１３６名に対し、騎兵科学生はわずか３名であった。その後も、騎兵科出身の卒業生は数名〜１０名程度という状況が続いた。軍馬も少なく、明治１２年の軍馬総数は約２４００頭しかいなかった。
明治２１年の師団設置後から騎兵は徐々に増え始めたが、日清戦争勃発時は７個大隊しか存在せず、しかも本来であれば１４個中隊必要なところ実際は１１個中隊と６個小隊しか存在していなかった。その後、好古らの尽力により日本騎兵は日露戦争前後にさらに拡張されていった。
第一次世界大戦後、機関銃や戦車の登場によって騎兵はその存在意義を問われることとなった。大正８年、陸軍の機関紙「偕行社記事」紙上に於いて「騎兵廃止論」を唱える国司伍七少将と、これに反論する騎兵第４旅団長
吉橋少将との間で大論争が繰り広げられた。この論争は最終的に吉橋少将の自刃という悲劇的な形で幕を閉じた。
その後、昭和初期から騎兵部隊は機甲化が進むこととなり、装甲車や戦車を中心とする部隊に改編されていった。乗馬騎兵を中心とした部隊は時代遅れではあったが、中国大陸では敵軍の機械化が遅れていたため、まだ活躍の場が残されていた。昭和６年の満州事変では、チチハルを攻撃した第二師団（師団長
多門二郎）が敵の陣地を中央突破すると、若松晴司中佐率いる騎兵第二連隊（約２００騎）が約４０ｋｍにわたる追撃戦を展開し、敵を壊走させている。また、昭和１４年の日中戦争では、韓庄の戦闘で騎兵団（旅団長
小島吉蔵）の騎兵第十七連隊と第二十五連隊が正面から徒歩攻撃を敢行し、第二十連隊が左翼から、第二十六連隊が右翼からそれぞれ乗馬突進して敵を包囲殲滅した。
昭和１５年の改編では騎兵第一旅団は全て車両化され、乗馬兵が皆無の部隊となった。騎兵第一旅団は昭和１７年に戦車第三師団の編成に伴い解体。騎兵第二旅団は昭和１６年に、騎兵第三旅団は昭和２０年２月にそれぞれ解体され、太平洋戦争終結まで乗馬騎兵部隊として残ったのは騎兵第四旅団だけであった。この騎兵第四旅団が昭和２０年３月２７日に行った老河口飛行場の急襲占領が世界最後の騎兵戦と言われている。