La nueva búsqueda de IA de Google aún ofrece datos después de 11 meses de pruebas

Um, ninguno de estos números cuadra.

El comportamiento estúpido de Google importa porque su IA analiza tus búsquedas Tarde o temprano. ya era la empresa Pruebas Este nuevo Google, denominado Experimento de búsqueda generativa o SGE, ha estado con voluntarios durante aproximadamente 11 meses y recientemente comenzó a mostrar respuestas de IA en los resultados principales de Google. Incluso para personas que no se han apuntado a la prueba.

El nuevo Google puede hacer algunas cosas útiles. Pero, como verá, a veces también inventa hechos, malinterpreta preguntas, proporciona información obsoleta y, en general, habla sin parar. Peor aún, los investigadores descubren que la IA a menudo convierte los sitios de baja calidad en fuentes confiables de información.

Normalmente, no reviso un producto que aún no está terminado. Pero esta prueba del futuro de Google lleva casi un año en marcha, y las decisiones que tome ahora afectarán la forma en que miles de millones de personas obtienen información. También está en juego la idea básica detrás de la actual moda de la IA: que la tecnología puede reemplazar la necesidad de buscar cosas por nosotros mismos con sólo darnos las respuestas. Si una empresa con el dinero y el poder informático de Google no puede tener éxito, ¿quién podrá hacerlo?

SGE combina el motor de búsqueda que conoces con las capacidades de un chatbot. Además de los resultados tradicionales, SGE escribe respuestas directas a las consultas, intercaladas con enlaces para profundizar.

SGE es una respuesta al hecho de que algunas personas, incluido yo mismo, estamos empezando a recurrir a la IA como ChatGPT para preguntas más complejas o cuando no tenemos ganas de leer un montón de sitios diferentes. Unouna empresa de optimización de búsquedas, estima que el uso de SGE puede acortar el recorrido de búsqueda general de un usuario de 10 a 20 veces al consolidar ventajas, desventajas, precios y otra información en un solo lugar.

Un robot de respuesta sabelotodo parece útil a medida que nuestra capacidad de atención se reduce. Pero Google tiene mucho que hacer. Esperamos que las búsquedas sean rápidas, pero las respuestas de la IA de Google tardan uno o dos angustiosos segundos. Google tiene que equilibrar una economía web ya frágil, donde sus respuestas de inteligencia artificial podrían robar tráfico de los editores que realizan el arduo y costoso trabajo de buscar cosas.

Lo más importante de todo es que el nuevo Google debe cumplir su promesa de poder responder nuestras preguntas de manera consistente y correcta. Aquí es donde centré mis pruebas y seguí encontrando ejemplos en los que el rendimiento de la IA de Google era peor que el de su predecesor.

Poniendo a prueba las respuestas de IA de Google

Muchas veces, cuando buscas en Google, lo que realmente quieres es un poco de información o un enlace. A diario, el nuevo Google suele resultar molesto porque su IA habla mucho.

Ejemplo tonto: «¿Qué comen los transformadores?»

La respuesta de la IA me dijo que los robots ficticios realmente no necesitan comer ni beber, aunque sí algún tipo de combustible. Mientras tanto, el viejo Google tenía la respuesta de una sola palabra que estaba buscando: Energon. (Es una especie de combustible mágico). Obtuve esta respuesta del nuevo Google simplemente desplazándome hacia abajo en la página.

Esto no sucede sólo con los robots espaciales. Cuando SE Ranking, empresa especializada en optimización de motores de búsqueda, Probado Con 100.000 consultas de palabras clave, SGE descubrió que la respuesta promedio que produjo fue de 3.485 caracteres, o aproximadamente un tercio de la longitud de esa columna. Uno de los desafíos que enfrenta Google es saber cuándo es mejor para su IA simplemente permanecer en silencio; A veces, SGE le pedirá que presione el botón «Crear» antes de escribir una respuesta.

Lo más importante de todo es que cuando buscamos, esperamos la información correcta. Google afirma que SGE tiene ventaja en ChatGPT porque sus conocimientos están actualizados.

Sin embargo, descubrí que el nuevo Google todavía está luchando con los asuntos recientes. Tres días después En los últimos Premios de la Academia, busqué «Oscar 2024». Me dijo que los Oscar aún estaban por llegar y enumeró algunos de los nominados.

Y nada socava más mi confianza en las respuestas de IA de Google que verlo inventar cosas con confianza.

Esto incluye datos sobre usted realmente. Le pregunté sobre una serie premiada que escribí para el Washington Post, se la atribuyó a un extraño y luego me dio un enlace a otro sitio.

Luego llegó el momento en que SGE felizmente creó información sobre algo que no existía. Le pregunté acerca de un restaurante en San Francisco llamado Danny’s Dan Dan Noodles y me dijo que tenía «tiempos de espera locos» y describió su comida.

El problema es que se trata de una tienda falsa a la que le puse el nombre de mi plato chino favorito. La inteligencia artificial de Google no tuvo problemas para generar información sobre este tema.

Las llamadas alucinaciones sobre sujetos reales y falsos son un problema conocido en la inteligencia artificial actual. El descargo de responsabilidad que aparece en la parte superior de los resultados de SGE afirma que «la IA generativa es experimental», pero eso no resuelve el problema. Google necesita aprender a decir «No sé» cuando no tiene confianza.

Para darnos respuestas a todo, la IA de Google tiene que identificar fuentes confiables. No tengo mucha confianza en su juicio.

¿Recuerdas nuestros locos resultados sobre el patrimonio neto de Zuckerberg? Un investigador profesional (al igual que el antiguo Google) podría sugerir consultar la lista de multimillonarios Forbes. La respuesta de Google a la IA se basó en algo muy extraño ZipRecruiter La página de empleos de Mark Zuckerberg, que no existe.

En mis pruebas, las fuentes sospechosas eran un patrón. Por sugerencia de Onely, pregunté al nuevo Google cuál es más fiable: los iPhone de Apple o los teléfonos Samsung. Como crítico desde hace mucho tiempo, puedo brindarle muchas buenas fuentes de información al respecto, incluidos periodistas profesionales y organizaciones de reparación como iFixit.

En cambio, la IA cita opiniones aleatorias de personas extraídas de las redes sociales. Aparte de la utilidad limitada de una experiencia de usuario de Reddit, ¿cómo sabe Google que no fue una reseña falsa publicada por el fabricante del teléfono?

«Google SGE opera bajo un conjunto de reglas diferente en comparación con el motor de búsqueda tradicional que conocemos hoy», dijo Tomek Rudzki, director de I+D de Onely.

Las empresas de SEO intentan realizar estudios cuantitativos de los valores SGE, aunque están limitadas por los requisitos de Google para los cálculos de prueba. Pero encontraron un patrón similar en la desconexión entre los sitios a los que se vinculaba el antiguo y el nuevo Google. Empresa de software SEO las autoridades Probé búsquedas utilizando miles de términos de compras a finales de marzo y descubrí que en el 77 por ciento de los casos, el dominio del primer resultado de búsqueda tradicional no aparecía en ninguna parte de la respuesta escrita por IA.

En su estudio de 100.000 palabras clave buscadas, Clasificación SE Descubrí que el servicio de preguntas y respuestas Quora es el recurso más vinculado por SGE; LinkedIn y Reddit quedaron en quinto y sexto lugar. ¿Con qué frecuencia serían aceptables estas fuentes en un trabajo de investigación de octavo grado?

en Búsquedas de temas de tecnología. – Incluye muchas preguntas sobre «cómo hacerlo». SE Ranking descubrió que el dominio más relevante es simplelearn.com. No había oído hablar de ello antes; El sitio se describe a sí mismo como un «campo de entrenamiento en línea».

«Esta tendencia no sólo reduce la calidad de los resultados de búsqueda, sino que también reduce el tráfico y los ingresos de muchas pequeñas empresas, incluidos los sitios web afiliados», dice Anastasia Kotsiubinska, directora de SEO de SE Ranking.

Google dice que SGE es una experiencia de suscripción. Pero Google ya ha superado El final esperado En diciembre pasado, no proporcionó ninguna actualización sobre cuándo la investigación estaría disponible para todos. Es posible que Google no crea que SGE sea lo suficientemente preciso, rápido o rentable y que terminen cambiándolo significativamente.

Sería prudente ir poco a poco, incluso si eso hace que Google parezca que se está quedando atrás en la carrera de la IA. Bing, el motor de búsqueda rival de Microsoft, llevó a cabo una revisión similar de la IA en febrero de 2023, pero su IA todavía es conocida por desviarse.

En una entrevista, Elizabeth Reid, vicepresidenta principal de Google en SGE, lo describió como un trabajo en progreso.

«Estamos realmente concentrados en garantizar que obtengamos la experiencia realmente correcta. Hay muchos factores diferentes en esto, cosas como latencia, precisión y utilidad», dijo Reed. «Lo que hemos descubierto a medida que hemos estado iterando y El aprendizaje es que es muy granular”. En otras palabras, hay momentos en que la IA es útil, otras no, y Google todavía está tratando de descubrir dónde trazar el límite.

Cuando compartí los ejemplos en esta columna, Reed me dijo que las tasas de alucinaciones de SGE son «muy bajas» y han disminuido «significativamente» desde el lanzamiento de SGE en mayo, aunque se negó a ser específica.

«No quiero restar importancia a esto, es un desafío tecnológico» y algo «en lo que realmente estamos trabajando», dijo Reid. Añadió que colocar enlaces junto a las respuestas de IA es importante para que las personas puedan comprobar los hechos por sí mismas.

Aquí está la sugerencia: dado que Google reconoce que obtener los datos correctos es un problema, debería divulgar sus propios datos cuidadosamente antes de ofrecer SGE a una audiencia más amplia. Con miles de millones de búsquedas cada día, incluso el 0,001 por ciento puede generar mucha desinformación.

Otra área en la que Google se está centrando es «tratar de ayudar a garantizar que lleguemos al meollo de la pregunta lo más rápido posible y luego proporcionar más aclaraciones», dijo Reed.

En cuanto a citar fuentes de baja calidad, Google se ha opuesto a la investigación externa sobre SGE, diciendo que se basa en búsquedas más limitadas de las que Google considera prácticas. Pero ella se negó a compartir sus datos.

SGE no tiene un estándar diferente al del antiguo Google, dijo Reed. «Estamos viendo una mayor diversidad en las fuentes emergentes», añadió, «pero el objetivo es seguir poniendo el contenido de calidad a la vanguardia».

Elegir a quién creer ya es bastante difícil para los humanos. ¿Qué hace que Google piense que la tecnología de inteligencia artificial actual, conocida como LLM o Large Language Models, es capaz de lograr esta tarea?

«No son perfectos», dijo Reed. «Queremos adoptar este enfoque reflexivo porque la confianza que la gente tiene en Google realmente importa».

El futuro de nuestra información depende de ello.