Міф про те, що Python "керує пам’яттю за вас", є причиною того, що ваші агенти OOM через 4 години роботи

минулого місяця запускали 24 мульти-агенти паралельно, спалюючи в 10 разів більше токенів, ніж одна сесія, без жодного корисного результату
справжня проблема полягала не в токенах, а в пам’яті, за якою ніхто не стежив
Python використовує підрахунок посилань і циклічний збирач сміття. Звучить добре, поки ви не завантажуєте масиви numpy через C-розширення, які неправильно зменшують лічильники посилань. Ці об’єкти НІКОЛИ не збираються. Вони просто сидять там, зростаючи, мовчки
кожні 100 токенів контексту ваш довготривалий агент обробляє, це ще одне виділення тензора, яке може не звільнитися. помножте це на 24 одночасні сесії, і ви витрачаєте 400MB/год у хороший день
> просто додайте більше RAM
так, це 30 000 доларів на місяць у обчисленнях, щоб компенсувати те, що tracemalloc зловив би за 10 хвилин.