Nació el 5 octubre de 1931 en Santurce. Fue el primer hijo de Margarita Rivera García, ama de casa, y Luis Rivera Esquilín, ebanista. El juego con los cacharros, las latas y los palitos, fue su entretenimiento desde niño. Cuando tenía siete años, ya interrumpía –junto a otros niños– el silencio en la calle Calma en Santurce, donde vivía, sonando sus instrumentos rudimentarios. Abandonó la escuela a temprana edad. Antes de los 13 años, como decía su madre, trajo a la casa 27 centavos, producto de su primer trabajo como limpiabotas.  A los 16 años se inició como albañil. Al mismo tiempo compartía su pasión por la música con un amigo, un año mayor, Rafael Cortijo. En 1948, comenzó a tocar percusión con el conjunto Monterrey de Monchito Mulley. No cantaba, porque esa tarea se la reservaba el director del grupo. Cortijo, por su parte, hacía sonar los bongós. A Ismael le pagaban $2.50 por tocar toda la noche. A principios de la década de 1950, luego de estar brevemente en el Ejérc...