Кавалерийский переулок расположен в центральной части поселка Первомайский (немного восточнее улицы Кавалерийской) Ленинского района. Название получил аналогично улице Кавалерийской. Начал застраиваться в 1950-х годах. В настоящее время в переулке расположены 3 одноэтажных частных жилых дома и 5 двух- и трехэтажных многоквартирных каменных жилых домов с нумерацией от 16 до 27.