Малый переулок расположен на западной окраине поселка Железнодорожный Советского района. Застраиваться начал с 1940-х годов. Название получил из-за своего размера. В настоящее время в переулке находятся 10 деревянных, шлакоблочных либо засыпных одноэтажных частных жилых домов первичной застройки.