نمونه معیار ارزیابی: مرتبط بودن سند RAG
ارزیابی هوشمند با n8n
این قالب کاری n8n به شما امکان می‌دهد تا عملکرد جریان‌های هوش مصنوعی خود را به شیوه‌ای قابل اعتماد ارزیابی کنید. با استفاده از قابلیت ارزیابی، می‌توانید یک مجموعه داده آزمایشی را از ورودی‌های مختلف در جریان کاری اجرا نموده و کیفیت پاسخ‌های دریافت‌شده را بسنجید.
در این قالب، معیاری با عنوان مرتبط بودن اسناد بازیابی‌شده محاسبه می‌شود؛ به این معنا که آیا اطلاعات استخراج‌شده توسط ایجنت، واقعاً با سوال مطرح‌شده مرتبط است یا خیر. برای این کار، کافیست اسناد دلخواه خود را در یک پایگاه داده برداری (vector store) ذخیره کنید تا ایجنت بتواند هنگام پاسخ‌دهی به آنها دسترسی داشته باشد.
مراحل کلی کار به شرح زیر است:
- راه‌اندازی تریگر ارزیابی برای خواندن داده‌های آزمایشی
- ترکیب این تریگر با تریگر معمولی برای شروع جریان کاری از هرکدام
- اطمینان از خروجی گرفتن داده‌های مربوط توسط ایجنت
- در حالت ارزیابی، محاسبه خودکار شاخص ارتباط اطلاعات با سوال با کمک هوش مصنوعی
- بازگرداندن متریک‌های محاسبه‌شده به n8n برای تحلیل و بهینه‌سازی
- صرفه‌جویی در هزینه با حذف محاسبات اضافی در حالت‌های غیرارزیابی
این قالب راهکاری ساده، شفاف و مطمئن را در اختیار کسب‌وکارهای فارسی‌زبان قرار می‌دهد تا روندهای هوش مصنوعی خود را به بهترین شکل مدیریت و ارزیابی کنند.
یکپارچه‌سازی‌های به کار رفته
این فرآیند با استفاده از پلتفرم n8n طراحی شده و قابلیت خودکارسازی بسیاری از فعالیت‌های دیجیتال را فراهم می‌کند.
با دانلود فایل JSON این قالب، می‌توانید آن را به راحتی در محیط n8n خود وارد کرده و تغییرات لازم را انجام دهید. مناسب برای توسعه‌دهندگان، مارکترها و تمام کسب‌وکارهایی که به دنبال خودکارسازی وظایف روزمره هستند.