«60 Minutos» hizo una afirmación sorprendentemente falsa sobre un chatbot de IA de Google

Desde que OpenAI lanzó ChatGPT al mundo, hemos visto cómo atrae a personas que no creerías. Algunas personas han afirmado que los chatbots tienen una agenda despierta. El senador estadounidense Chris Murphy tuiteó que ChatGPT «enseñó» química avanzada. Incluso los periodistas tecnológicos experimentados han escrito historias sobre cómo funciona. El chatbot se enamoró de ellos.. Parece que el mundo está reaccionando a la IA de la misma manera que probablemente reaccionaron los hombres de las cavernas cuando vieron fuego por primera vez: con total confusión y balbuceos incoherentes.

Uno de los ejemplos más recientes proviene de 60 minutos, quien lanzó su voz al ruedo con un nuevo episodio centrado en las innovaciones en inteligencia artificial que se emitió el domingo en CBS. El episodio contó con entrevistas con personas como Sundar Pichai, CEO de Google, e incluyó contenido cuestionable. Reclamaciones sobre uno de los modelos de lenguaje grande (LLM) de la compañía.

El segmento trata sobre el comportamiento emergente, que describe un efecto secundario inesperado de un sistema de IA que no fue necesariamente previsto por los desarrolladores del modelo. Ya hemos visto surgir comportamientos emergentes en otros proyectos recientes de IA. Por ejemplo, los investigadores utilizaron recientemente ChatGPT para crear personas digitales con objetivos y antecedentes en un estudio publicado en línea la semana pasada. Señalan que el sistema realiza varios comportamientos emergentes, como compartir nueva información de un personaje a otro e incluso formar relaciones entre ellos, algo que los autores no habían planeado inicialmente para el sistema.

El comportamiento emergente es ciertamente un tema que vale la pena discutir en un programa de noticias. dónde está el 60 minutos Sin embargo, el video da un giro cuando nos enteramos de las afirmaciones de que el chatbot de Google en realidad pudo aprender a sí mismo un idioma que no sabía antes después de que se le preguntó en ese idioma. “Por ejemplo, un programa de IA de Google se adaptó por sí solo después de que se le dijo que lo hiciera en el idioma de Bangladesh, que no estaba capacitado para conocer”, dijo el reportero de CBS News, Scott Pelley, en el video.

Resulta que ella era una completa BS. El robot no solo no podría aprender un idioma extranjero que «nunca se entrenó para saber», sino que tampoco se enseñó a sí mismo una nueva habilidad. Todo el clip llevó a los investigadores y expertos en inteligencia artificial a criticar el encuadre engañoso del programa de noticias en Twitter.

“Ciertamente espero que algunos periodistas revisen todo el segmento de @60Minute en Google Bard como un caso de estudio sobre cómo *no* cubrir la IA”, dijo Melanie Mitchell, investigadora de IA y profesora en el Instituto Santa Fe. escribió en un tuit.

«¡Deja de pensar mágicamente sobre la tecnología! No es posible que la #IA responda en bengalí, a menos que los datos de entrenamiento hayan sido contaminados con bengalí o entrenados en un idioma que se superpone con el bengalí, como el asamés, el oriya o el hindi», dijo la Sra. alex o. investigador del Instituto de Tecnología de Massachusetts, Añadido en otra publicación.

Vale la pena señalar 60 minutos El clip no decía exactamente qué IA usaron. Sin embargo, un portavoz de CBS le dijo a The Daily Beast que el segmento no era una discusión sobre Bard sino un programa de inteligencia artificial separado llamado PaLM, cuya tecnología central se integró más tarde en Bard.

Las razones por las que esta parte ha sido tan frustrante para estos expertos es que ignora y juega con la realidad de lo que realmente puede hacer la IA generativa. No puede «enseñarse» a sí mismo un idioma si no tiene acceso a él en primer lugar. Esto sería como tratar de aprender mandarín por sí mismo, pero solo lo escuchó después de que alguien le preguntó mandarín una vez.

Después de todo, el lenguaje es increíblemente complejo, con matices y reglas que requieren un grado increíble de contexto para comprender y comunicar. No hay forma de que incluso el LLM más avanzado maneje y aprenda todo eso con unas pocas indicaciones.

PaLM ya está entrenado con bengalí, el idioma dominante de Bangladesh. Margaret Mitchell (sin relación), investigadora en Startup Lab en AT HuggingFace y anteriormente en Google, explicó esto en Tema del tuit Argumentar por qué 60 minutos estaba mal.

Mitchell señaló que en una demostración de 2022, Google demostró que PaLM puede comunicarse y responder a indicaciones en bengalí. el Papel detrás de PaLM Reveló en una hoja de datos que el modelo en realidad fue entrenado en el idioma con aproximadamente 194 millones de símbolos en el alfabeto bengalí.

Así que no aprendió nada mágicamente a través de un solo aviso. Ya conocía el idioma.

No está claro por qué Pichai, el CEO de Google, se sentó para la entrevista y permitió que estas acusaciones continuaran sin oposición. (Google no respondió a las solicitudes de comentarios). Desde que se emitió el episodio, ha permanecido en silencio a pesar de que los expertos señalaron las afirmaciones engañosas y falsas hechas en el clip. En TwitterMargaret Mitchell Propuesta La razón detrás de esto podría ser una combinación de que los líderes de Google no saben cómo funcionan sus productos y también que permite que se difundan mensajes deficientes para abordar la exageración actual en torno a la IA generativa.

«Sospecho [Google executives] Literalmente no entiendo cómo funciona, Mitchell chirrido. «Lo que escribí arriba probablemente sea una noticia para ellos. Y están motivados para no entender (¡¡HABLEN A SUS OJOS CON ESTA HOJA DE DATOS!!)».

La segunda mitad del video también puede verse como problemática, ya que Pichai y Billy discuten una historia corta que Bard creó que «sonaba muy humana», dejando a los dos hombres algo conmocionados.

La verdad es que estos productos no son mágicos. No pueden ser «humanos» porque no son humanos. Son predictores de texto como los de su teléfono, entrenados para generar las palabras y frases más probables después de una serie de palabras en frases. Decir que existen podría darles un nivel de poder que podría ser increíblemente peligroso.

Después de todo, los usuarios pueden usar estos sistemas generativos de inteligencia artificial para hacer cosas como difundir información errónea. Ya hemos visto esto manipular la apariencia de las personas e incluso sus voces.

Incluso un chatbot por sí solo puede causar daño si termina produciendo resultados sesgados, algo que ya hemos visto con ChatGPT y Bard. Conociendo la propensión de estos chatbots a alucinar y fabricar resultados, es posible que puedan difundir información errónea a usuarios desprevenidos.

La investigación también lo confirma. Un estudio reciente Publicado en Informes científicos Descubrió que las respuestas humanas a las preguntas éticas podrían verse fácilmente influenciadas por los argumentos presentados por ChatGPT, e incluso que los usuarios subestimaron en gran medida cuánto los afectaban los bots.

Afirmaciones engañosas sobre 60 minutos En realidad, es solo un síntoma de la mayor necesidad de alfabetización digital en un momento en que más la necesitamos. Muchos expertos en IA dicen que ahora, más que nunca, es el momento en que las personas deben ser conscientes de lo que la IA puede y no puede hacer. Estos hechos básicos sobre robótica también deben comunicarse de manera efectiva al público en general.

Esto significa que las personas con las plataformas más grandes y las voces más fuertes (es decir, los medios, los políticos y los directores ejecutivos de Big Tech) tienen la mayor responsabilidad para garantizar un futuro de IA más seguro y educado. Si no lo hacemos, podríamos terminar como los hombres de las cavernas antes mencionados, jugando con la magia del fuego y quemándonos en el proceso.