Vikram Koka va redescobrir Apache Airflow el 2019 quan buscava una eina per orquestrar dades de sensors a la indústria de l’Internet de les Coses. Airflow, nascut a Airbnb, és una plataforma de codi obert per automatitzar i gestionar fluxos de treball de dades, especialment útil per processos com la neteja de dades, càlcul de mètriques i altres operacions dins de magatzems de dades. Airbnb va obrir el codi d’Airflow el 2015 i el 2019 es va convertir en un projecte principal dins de la fundació Apache.

Amb el temps, el projecte havia quedat estancat i la seva comunitat s’havia dispersat. El que distingeix Airflow és el concepte de “configuració com a codi”; permet definir els fluxos de treball com a grafos acíclics dirigits (DAGs) mitjançant scripts en Python. Això dona gran flexibilitat, ja que permet als desenvolupadors importar llibreries i dependències per definir tasques complexes, que Airflow s’encarrega d’orquestrar, programar i monitoritzar.

Koka, veient el potencial de la plataforma, va començar a contribuir-hi amb millores de fiabilitat i noves funcionalitats. El desembre de 2020 es va llançar Airflow 2.0, marcant un punt d’inflexió: les descàrregues van créixer i empreses de tot el món van començar a adoptar la plataforma. El següent repte va ser Airflow 3.0, llançat l’abril passat, que introdueix una arquitectura modular, una interfície d’usuari moderna i capacitat per executar-se en entorns locals, núvol i dispositius edge, i admetre tasques tant programades com activades per esdeveniments.

La comunitat ha crescut fins a més de 3.000 desenvolupadors actius, i empreses com Bosch han adoptat Airflow per a l’orquestració de proves en sistemes d’automatització de vehicles. La gestió d’aquesta comunitat es basa en fomentar contribucions progressives, des de documentació fins a noves funcionalitats, i oferir suport ràpid als nous membres.

El futur d’Airflow passa per suportar més llenguatges de programació, afegir validació humana (human-in-the-loop) i millorar el suport a fluxos de treball d’intel·ligència artificial i aprenentatge automàtic, àmbits on la seva adopció està creixent ràpidament. Segons els responsables, Airflow vol convertir-se en la base robusta i escalable sobre la qual executar processos d’IA i ML, des de l’entrenament fins a la inferència i l’automatització avançada.