Seleccionar el modelo de IA correcto para su plantilla de solicitud

Principios de selección de modelo

La especificidad de tareas es lo más importante. Diferentes modelos destacan en diferentes tareas. Lo que funciona para generar emails de ventas creativos podría no funcionar para extraer datos estructurados de casos. Pruebe siempre modelos en su caso de uso real, no en puntos de referencia generales.

Rendimiento sobre recencia. Un modelo más reciente no es automáticamente mejor para sus necesidades. No tome como valor predeterminado el modelo más reciente: mida el desempeño en su tarea.

Compensaciones de costo frente a precisión. Los modelos más caros a menudo (pero no siempre) producen resultados de mayor calidad. Compare el costo del modelo con la visibilidad de la respuesta y la repercusión en el negocio.

La coherencia es crítica para la producción. Un modelo que produce excelentes respuestas el 80% de las veces y malas respuestas el 20% de las veces no está listo para la producción. Pruebe cada modelo varias veces con las mismas entradas para medir la coherencia, no solo el desempeño máximo.

Probar y seleccionar un modelo

Siga este proceso para realizar elecciones de modelo basadas en evidencia.

Paso 1: Defina criterios de éxito. Antes de probar cualquier modelo, decida qué significa "bueno" para su caso de uso. Identifique de 2 a 3 criterios mensurables. Por ejemplo, para una solicitud de email de ventas: personalización (el email hace referencia a detalles de cuenta específicos), tono (profesional pero conversacional, puntuado de 1 a 5) y longitud (100 a 150 palabras).

Paso 2: Cree datos de prueba. Prepare de 10 a 20 ejemplos representativos desde el uso real. Utilice registros de Salesforce reales, no datos de prueba inventados. Los datos reales afloran casos extremos como campos vacíos, valores inusuales, texto muy largo o corto y caracteres especiales. Incluya variedad entre industrias, tipos de casos y tamaños de cuentas, e incluya registros típicos y registros que han sido problemáticos.

Paso 3: Pruebe cada modelo. Ejecute su plantilla de solicitud en cada modelo disponible utilizando sus datos de prueba. Utilice exactamente la misma plantilla de solicitud y datos de prueba para todos los modelos: solo cambie la selección del modelo.

Paso 4: Mida los resultados. Puntúe cada resultado con respecto a sus criterios de éxito. Calcule estadísticas de resumen como índice de aprobados, puntuaje medio e índice de cumplimiento entre todos los registros de prueba.

Paso 5: Analice los datos. Compare modelos entre sus criterios de éxito. Identifique qué modelo tiene el mejor desempeño en los criterios más importantes para su caso de uso.

Paso 6: Comprobar la coherencia. Para los 2 a 3 modelos principales, ejecute la misma solicitud cinco veces en 5 registros de prueba (25 ejecuciones en total por modelo). Alta varianza significa que el modelo no es fiable para la producción. Seleccione modelos con baja varianza.

Paso 7: Seleccione basándose en pruebas. Seleccione el modelo con mejor desempeño en sus criterios de éxito reales, no en reclamaciones de reputación o marketing. Documente su elección, incluyendo qué criterios ganó, el resumen de resultados de la prueba y la fecha de la prueba. A medida que haya nuevos modelos disponibles, puede volver a probar y comparar con su línea base.

Saber cuándo cambiar modelos

Su elección de modelo no es permanente. Considere cambiar en estas situaciones.

• Los nuevos modelos quedan disponibles. Cuando Salesforce publique nuevos modelos, pruébelos con su línea base utilizando el mismo proceso. No asuma que nuevo es igual a mejor.
• Su caso de uso cambia. Si los requisitos cambian (por ejemplo, ahora necesita asistencia en varios idiomas o resultados más largos), vuelva a probar modelos.
• El desempeño se degrada. Si observa que la calidad de salida disminuye con el tiempo, pruebe modelos alternativos. A veces, las actualizaciones de modelo afectan al desempeño para casos de uso específicos.
• Las consideraciones de costos cambian. Si su volumen aumenta drásticamente, un modelo más rentable podría tener sentido incluso si la calidad disminuye ligeramente. Analice si la diferencia de calidad es perceptible para los usuarios finales y si afecta a los resultados de negocio.

Errores comunes de selección de modelo

• Selección basada en indicadores generales. Los indicadores miden funciones generales. Su tarea específica podría no alinearse con tareas de referencia. Pruebe siempre con sus datos y solicitudes reales.
• Nunca más pruebas. Los modelos cambian, se publican nuevos modelos y su caso de uso evoluciona. Programe revisiones de modelo trimestrales para solicitudes críticas.
• Pruebas con datos artificiales. Los datos de producción son desordenados. Los registros reales tienen campos vacíos, casos extremos y valores inesperados. Pruebe siempre con registros reales de Salesforce.
• Probando una vez. Las pruebas únicas no revelan problemas de coherencia. Pruebe varias veces con las mismas entradas para medir la coherencia.
• Optimización para la medición incorrecta. Defina criterios de éxito primero, luego pruebe esos criterios específicos, no para la calidad general o la creatividad.

Lista de comprobación de comparación de modelo

Al comparar modelos, evalúe estos elementos.

• Precisión: ¿Coincide el resultado con el formato y el contenido esperados?
• Coherencia: ¿Las ejecuciones repetidas producen una calidad similar?
• Cumplimiento: ¿Se ajusta la respuesta a restricciones de formato y tamaño de campo?
• Tono: ¿Coincide la voz con su marca y caso de uso?
• Completitud: ¿Se incluyen todos los elementos obligatorios?
• Velocidad: ¿Cumple el tiempo de respuesta las expectativas del usuario?
• Costo: ¿Se alinea el precio con el valor de negocio de este caso de uso?
• Casos periféricos: ¿Cómo gestiona datos inusuales o mínimos?