Zagadnienie tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego serca jego architektury. U podstaw leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się kilkakrotnie, aż do osiągnięcia zamierzonego efektu.
Trzonem tego procesu jest model językowy, który odgrywa rolę wewnętrznego głosu konsultacyjnego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na mniejsze podzadania i proponuje kolejność ich realizacji. Środowisko modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej pamięci treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy procedura rozciąga się na kilka etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To dokładnie ta zdolność wyróżnia agenta od prostego skryptu, który wykonuje jedynie z góry ustaloną listę poleceń.
Osobną sprawą pozostaje mechanizm oceny własnych działań. Odpowiednio zbudowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od zamierzonego, i wrócić do wcześniejszego etapu, by podjąć próbę innej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej złożeniem.