Agrégation Offres IT
Agrégation quotidienne d'offres d'emploi IT à Madagascar (LinkedIn, Facebook, PortalJob) avec rendu HTML par IA et envoi par email.
3
sources agrégées (LinkedIn, Facebook, PortalJob)
10
offres max par envoi quotidien
1/jour
envoi automatique (08:00, heure Antananarivo)
Contexte
Conçu pour automatiser la veille d'offres d'emploi informatique à Madagascar : les plateformes diffusent un mélange d'annonces réelles, de posts de chercheurs d'emploi et de publicités de formation qu'il faut trier avant diffusion.
Mon rôle
Conception et développement complet du pipeline : architecture n8n (3 sources parallèles, filtres IT, fusion, agrégation LLM, envoi Gmail), serveur de scraping FastAPI sur Hugging Face Spaces (Playwright) exposant les endpoints appelés par les nœuds n8n, déploiement Render/Supabase, et correction du bug « 0 offre(s) » (préfixe `=` manquant sur le champ prompt du nœud LLM).
Fonctionnalités clés
- Agrégation multi-sources : LinkedIn, groupes Facebook, portail PortalJob (Madagascar)
- Filtrage IT par règles : exclusions, mots-clés métiers/techno, signaux de recrutement
- Répartition round-robin avec plafonds (max 10 offres par session)
- Email HTML stylé généré par LLM (Groq) avec badges de source
- Déclenchement quotidien automatisé : cron Vercel (08:00, heure Antananarivo) → webhook n8n sur Render. cron-job.org = keep-alive seulement (health check 10 min).
- Serveur de scraping dédié (FastAPI + Playwright sur Hugging Face Spaces) : endpoints LinkedIn, Facebook et PortalJob, sessions Playwright (cookies XSRF, agents utilisateur), appelés par les nœuds HTTP n8n
- Déploiement serverless : n8n sur Render, scraping via FastAPI sur Hugging Face Spaces, persistance Supabase
Limites actuelles
- Pas de base d'historique des offres : seul l'email du jour est conservé
- Nécessite des cookies de session valides pour Facebook et LinkedIn (Playwright storage state)
- Déploiement Render free : réveil à chaque exécution (~1 min de latence au premier appel)