Juniorسختی 2 از ۵· در 55٪ مصاحبههای این حوزه پرسیده شده
چرا ارسال کل تاریخچه مکالمه به مدل در هر پیام مشکلساز است؟
☆نشان کردنپاسخ کوتاه
چون با طولانیشدن مکالمه، تعداد توکن ارسالی و در نتیجه هزینه و زمان پاسخ افزایش مییابد و ممکن است از سقف Context Window مدل عبور کند.
پاسخ کامل
راهحل رایج، محدودکردن تاریخچه به چند پیام آخر یا خلاصهسازی دورهای مکالمات قدیمیتر (Summarization) پیش از افزودن پیام جدید است، تا هم هزینه کنترل شود و هم از خطای عبور از سقف توکن جلوگیری شود.