le mythe selon lequel python "gère la mémoire pour vous" est la raison pour laquelle vos agents rencontrent une erreur OOM après 4 heures de fonctionnement

j'ai fait fonctionner 24 multi-agents en parallèle le mois dernier, consommant 10x plus de tokens qu'une seule session pour ZERO sortie utilisable
le vrai problème n'était pas les tokens, mais la mémoire que personne ne surveillait
python utilise le comptage de références plus un ramasse-miettes cyclique. ça semble correct jusqu'à ce que vous chargiez des tableaux numpy via des extensions C qui ne décrémentent pas correctement les références. ces objets NE sont JAMAIS collectés. ils restent là, grandissant, silencieux
tous les 100 tokens de contexte que votre agent de longue durée traite, c'est une autre allocation de tenseur qui pourrait ne pas être libérée. multipliez cela par 24 sessions simultanées et vous perdez 400MB/heure par beau jour
> il suffit d'ajouter plus de RAM
oui, cela coûte 30 000$/mois en calcul pour compenser quelque chose que tracemalloc aurait détecté en 10 minutes.