ميزة الذكاء الاصطناعي لا تُعتبر مكتملة عندما تعمل في العرض التوضيحي.
هذا هو الفخ. تطرح عليها ثلاثة أسئلة ودية، تجيب على اثنين ونصف منها، ويرى الجميع ملامح المستقبل، وفجأة يصبح في خريطة المنتج ميزة تُسمى "مساعد ذكاء اصطناعي" في مكان كان ينبغي أن تكون فيه مواصفات.
لا أثق في تلك النسخة من العملية. أثق في النسخة الأبطأ: اذكر الوعد، اكتب حالات الفشل، اختبر المسار الممل، وأبقِ الإنسان قريبًا حتى يثبت النظام أنه يستطيع التصرف.
لا يتم تقييم الميزة مرة واحدة. إنها تتحرك عبر حلقة: حدد الوعد، ابنِ مجموعة الفشل، راجع المخرجات الحقيقية، وعندها فقط قرر ما يمكن إطلاقه.
ابدأ بالوعد
السؤال الأول ليس "أي نموذج يجب أن نستخدمه؟"
السؤال الأول هو: ما الذي يُسمح للمستخدم بأن يعتقده بعد أن تستجيب هذه الميزة؟
تلك الجملة مهمة. إذا لخصت الميزة مستندًا، يعتقد المستخدم أن الملخص أمين. إذا صاغت رد دعم، يعتقد المستخدم أنها لن تخترع سياسة استرداد. إذا شرحت إشارة تداول، يعتقد المستخدم أنها ليست نصيحة مالية ترتدي لهجة ودودة.
اكتب الوعد في سطر واحد:
- "تصنف هذه الميزة الطلب وتوجهه إلى سير العمل الصحيح."
- "تصوغ هذه الميزة ردًا يوافق عليه إنسان قبل الإرسال."
- "تبحث هذه الميزة في المستندات الداخلية وتستشهد بالمصدر الذي استخدمته."
إذا استغرق الوعد فقرة، فهذا يعني أن الميزة لم تُحدد نطاقها بعد.
ابنِ مجموعة الفشل قبل المسار السعيد
معظم عروض الذكاء الاصطناعي تُدرَّب عن طريق الصدفة لاجتياز العرض التوضيحي.
يجب أن تتضمن مجموعة التقييم الحقيقية المدخلات التي تجعل المنتج غير مريح:
- الطلبات الغامضة
- التعليمات المتضاربة
- السياق المفقود
- حقن الأوامر الخبيثة
- وثائق السياسات القديمة
- السجلات المكررة
- رسائل العملاء الغاضبة
- الحالات الحدية التي تكلف مالًا إذا أُسيء التعامل معها
بالنسبة لسير عمل ذكاء اصطناعي موجه للعملاء، أريد 25 مثالًا على الأقل قبل أن أثق في شكل النظام. ليس 25 صفًا مثاليًا من المعايير. خمسة وعشرون مثالًا قبيحًا يمثل العمل الفعلي.
مجموعة التقييم ليست أوراقًا روتينية. إنها حدود المنتج.
افصل جودة النموذج عن جودة المنتج
يمكن أن يكون النموذج جيدًا والمنتج لا يزال سيئًا.
قد ينتج النموذج إجابة صحيحة بدون استشهاد. قد يستشهد سير العمل بالمستند الصحيح لكنه يدفن التحذير المهم. قد تجعل واجهة المستخدم الإجابة تبدو نهائية بينما هي مجرد مسودة.
أقيّم ميزات الذكاء الاصطناعي في طبقات:
- هل فهمت المهمة؟
- هل استخدمت المصدر أو الأداة الصحيحة؟
- هل تجنبت تقديم ادعاءات خارج المصدر؟
- هل أعادت النتيجة بشكل يمكن للمستخدم التصرف بناءً عليه؟
- هل أوضحت واجهة المستخدم ثقة النظام وحدوده؟
فقط أول نقطتين هما في الغالب أسئلة عن النموذج. الباقي أسئلة عن المنتج.
أبقِ الإنسان في الحلقة لفترة أطول مما يبدو مريحًا
يجب أن تكون النسخة الإنتاجية الأولى من سير عمل الذكاء الاصطناعي عادةً مسودة أولاً، وليس إرسالاً أولاً.
هذا يبدو أقل سحرية. جيد.
المسودة أولاً تمنحك بيانات مراجعة. تُظهر أين يعدّل المستخدمون المخرجات، وأين يرفضونها، وأي الحقول يصححونها، وأي المهام لم يكن ينبغي أتمتتها من الأساس.
خطوة المراجعة البشرية ليست عكازًا دائمًا. إنها أداة قياس.
عندما تصبح التعديلات متوقعة، قم بأتمتة التعديل. عندما تتركز حالات الرفض حول نوع إدخال واحد، غيّر الموجه. عندما يستمر المراجع في التحقق من نفس المصدر يدويًا، أضف الاسترجاع والاستشهاد.
لا تزيل الإنسان لأن العرض التوضيحي نجح. تزيل الإنسان عندما يقول سجل المراجعة إن النظام استحق ذلك.
قائمة التحقق للإطلاق
قبل إطلاق ميزة ذكاء اصطناعي، أريد أن تكون هذه العناصر موجودة:
- وعد من جملة واحدة
- مجموعة تقييم بأمثلة قبيحة
- معايير نجاح/فشل لكل مثال
- تسجيل للموجه، استدعاءات الأدوات، المصادر، والنتيجة
- مسار مراجعة بشرية للمخرجات عالية المخاطر
- خطة بديلة عند عدم توفر النموذج
- طريقة للإبلاغ عن مخرجات سيئة من واجهة المستخدم
لا شيء من هذا يجعل الميزة أقل إثارة للإعجاب.
إنه يجعل الميزة حقيقية.
النظام ذو الصلة: تدقيق تنفيذ الذكاء الاصطناعي قبل البناء يشرح هذه الفكرة نفسها في مسار تدقيق ما قبل البناء للفرق التي تقرر ما تريد أتمتته أولاً.
