Al igual que Google, la demo de Bing IA de Microsoft también tiene algunos errores

La inteligencia artificial de Google no es la única que tuvo errores durante su primera demo. El investigador independiente de Inteligencia Artificial (AI) Dmitri Brereton descubrió que las primeras demos de Microsoft para la AI de Bing estaban llenas de problemas de datos financieros.

En esta línea, Microsoft demostró con confianza las capacidades de la IA de Bing hace una semana, con el motor de búsqueda que asumió tareas como brindar ventajas y desventajas para las aspiradoras para mascotas más vendidas, planificar un viaje de cinco días a la Ciudad de México y comparar datos en informes financieros. Sin embargo, Bing no logró diferenciar entre una aspiradora con cable o sin cable, se perdió detalles relevantes de los bares a los que hace referencia en la Ciudad de México y destrozó los datos financieros, por mucho el mayor error, sostuvo el medio especializado The Verge.

De hecho, en una de las demostraciones, la AI de Bing de Microsoft intentó resumir un informe financiero del tercer trimestre de 2022 para la ropa Gap y se equivocó “mucho”. El informe Gap menciona que el margen bruto fue del 37,4%, con un margen bruto ajustado del 38,7% excluyendo un cargo por deterioro. Bing informó incorrectamente que el margen bruto era del 37,4% , incluidos los cargos por ajuste y deterioro.

Posteriormente, Bing continuó afirmando que Gap tenía un margen operativo informado del 5,9%, que no aparecía en los resultados financieros. El margen operativo fue del 4,6%, o del 3,9% ajustado e incluyendo el cargo por deterioro, explicó The Verge.

Durante la demostración de Microsoft, la inteligencia artificial comparó los datos financieros de Gap con los mismos resultados de Lululemon durante el tercer trimestre de 2022. Bing cometió más errores con los datos de Lululemon y el resultado es una comparación plagada de inexactitudes.

Brereton también destacó un error “aparente” con una consulta relacionada con los pros y los contras de las aspiradoras para mascotas más vendidas. Bing citó la aspiradora de mano Bissell Pet Hair Eraser y enumeró sus desventajas. Entre estas, según la IA, su longitud de cable corta, que mide 16 pies. “No tiene cordón”, dijo Brereton. “Es una aspiradora de mano portátil”, complementó el investigador.

Sin embargo, una búsqueda rápida en Google mostrará claramente que hay una versión de esta aspiradora con un cable de 16 pies tanto en una reseña escrita como en un video. También, que hay una versión inalámbrica, vinculada en el artículo de HGTV que proporcionó Bing. Sin conocer la URL exacta que Bing obtuvo en la demostración de Microsoft, parece que la IA está usando múltiples fuentes de datos sin enumerar esas fuentes por completo, fusionando dos versiones de una aspiradora. El hecho de que el propio Brereton cometiera un pequeño error al verificar Bing muestra la dificultad de evaluar la calidad de estas respuestas generadas por IA.

Sin embargo, los errores de IA de Bing no se limitan solo a sus demostraciones en el escenario. Ahora que miles de personas obtienen acceso al motor de búsqueda impulsado por IA, Bing AI está cometiendo errores más obvios. En un intercambio publicado en Reddit, Bing AI se confunde mucho y argumenta que estamos en 2022. “Lo siento, pero hoy no es 2023. Hoy es 2022”, dijo Bing AI. Cuando el usuario de Bing dice que es 2023 en su teléfono, Bing sugiere verificar que tenga la configuración correcta y asegurarse de que el teléfono no tenga “un virus o un error que interfiera con la fecha”.

Microsoft es consciente de este error en particular. “Esperamos que el sistema pueda cometer errores durante este período de vista previa. Los comentarios son fundamentales para ayudar a identificar cuándo las cosas no funcionan bien para que podamos aprender y ayudar a que los modelos mejoren”, dijo Caitlin Roulston, directora de comunicaciones en Microsoft, mediante un comunicado, a The Verge.

Otros usuarios de Reddit han encontrado errores similares. Bing AI afirmó de manera segura e incorrecta que “Croacia abandonó la UE en 2022”, y se abasteció dos veces de los datos. PCWorld también descubrió que el nuevo Bing AI de Microsoft está enseñando a las personas insultos étnicos. Microsoft ahora ha corregido la consulta que llevó a que se incluyeran insultos raciales en los resultados de búsqueda del chat de Bing.

“Hemos establecido medidas de seguridad para evitar la promoción de contenido dañino o discriminatorio de acuerdo con nuestros principios de IA”, explica Roulston. “Actualmente estamos buscando mejoras adicionales que podamos hacer a medida que continuamos aprendiendo de las primeras fases de nuestro lanzamiento. Estamos comprometidos a mejorar la calidad de esta experiencia con el tiempo y a convertirla en una herramienta útil e inclusiva para todos”.

Además, otros usuarios de Bing AI también descubrieron que el chatbot a menudo se refiere a sí mismo como Sydney, particularmente cuando los usuarios usan inyecciones rápidas para tratar de descubrir las reglas internas del chatbot. “Sydney se refiere a un nombre de código interno para una experiencia de chat que estábamos explorando anteriormente”, dice Roulston. “Estamos eliminando gradualmente el nombre en la vista previa, pero aún puede aparecer ocasionalmente”.