Nació en 1859 en un shtetl cerca de Kiev. Su madre murió cuando él tenía trece años. A los quince leyó Robinson Crusoe y escribió una versión propia — un Robinsón judío — y decidió hacerse escritor.
Trabajó como preceptor privado y se enamoró de su alumna, la hija de un comerciante rico. El padre lo echó de la casa. Seis años después ella se casó con él de todos modos, contra la voluntad paterna. A la muerte de su suegro, Sholem Aléijem recibió una gran herencia, la puso en la bolsa y lo perdió todo.
Desde 1883 escribió casi exclusivamente en yidis — no porque no supiera escribir en ruso o en hebreo; sabía. Quería que lo leyeran quienes solo leían yidis: las familias judías corrientes de la Zona de Asentamiento. Los críticos se burlaban de la jerga. Él no les hizo caso.
Sus personajes centrales no son héroes. Tevye el lechero habla con Dios como con un viejo conocido que le debe algunas explicaciones. Ménajem-Mendl escribe a su mujer cartas sobre una cadena interminable de negocios que nunca cuajan. Motl es un huérfano alegre porque todavía no ha entendido que le toca estar de duelo.
Tras los pogromos de 1905 dejó Rusia y vivió en Ginebra, Londres, Nueva York. En 1914, al estallar la guerra, fue expulsado de Alemania. Pasó sus dos últimos años en Nueva York — enfermo de tuberculosis, pero escribiendo todavía, dando lecturas todavía.
Murió el 13 de mayo de 1916. Cien mil personas acudieron a su entierro en Nueva York. En su testamento pidió que no se pronunciaran grandes discursos sobre él — solo que una vez al año se leyeran en voz alta sus cuentos humorísticos.
El violinista en el tejado, nacido de su Tevye el lechero, se convirtió en uno de los espectáculos más longevos de la historia de Broadway.