¿Qué es Azure Databricks y para qué sirve?

De la creciente necesidad de procesar mayores cantidades de datos en el menor tiempo posible y del furor por el almacenaje de datos en la nube, nace Azure Databricks que, según los expertos, es de las plataformas de análisis de datos en la nube más completas del mercado. Pero, ¿qué es Azure Databricks y para qué sirve?