Un projet open-source pour simplifier la chaîne data

Data Engineering · Go · Rust · Open-Source

J’ai l'ambition de simplifier la chaîne data, mais je ne peux pas le faire seul !

Depuis des années, je vois la même difficulté dans les équipes data :

👉 On explore la donnée dans un outil… 👉 …et on la met en production dans un autre.

• Python pour tester
• Spark pour exécuter
• D’autres langages pour optimiser

Résultat : deux pipelines, deux logiques, deux maintenances, deux coûts.

Explorer une autre voie

Je veux lancer un projet open-source pour proposer une alternative :

Un seul outil, du notebook d’exploration jusqu’au pipeline de production, en Go ou Rust, léger, compilé, sans duplication.

Ce n’est pas un projet “contre” les outils existants, c’est une réflexion sur un manque réel : simplifier la chaîne data, réduire les coûts, éviter la dérive entre exploration et production.

Une première partie du projet, c'est le projet open-source, mais pour ceux qui voudront continuer, on peut envisager une plateforme de traitement global de la donnée avec un modèle économique qui répond à un besoin des entreprises.

Appel à contributions

Je cherche :

• Gophers
• Rustaceans
• Profils data
• CTO
• Et toute personne qui reconnaît ce problème

Un commentaire, un partage, un mail... c’est déjà construire ensemble.