texto:   A-   A+
eliax

Opinión #eliax: Nuestro mayor reto tecno-social actual: La incertidumbre de la verdad con IA
eliax id: 11592 josé elías en sept 4, 2024 a las 03:31 AM ( 03:31 horas)
Copia de la Mona LisaeliaxHola amig@s lectores,

Si les dijera que este artículo completo fue escrito por una Inteligencia Artificial (IA), ¿me lo crearían? Hace apenas dos años atrás quizás no, pero con la llegada de una nueva generación de IAs del tipo LLM (Large Language Model) como ChatGPT es posible que muchos de ustedes no sepan qué responderme.

Y eso, es un problema.

Aunque por un lado estamos adentrándonos en uno de los más emocionantes (sino, el más emocionante) momentos de la humanidad, a la misma vez esto trae consigo un nuevo tipo de problemas, problemas que aunque no son totalmente nuevos (me refiero a la capacidad de hacer creer que algo ficticio es real) sí podemos decir que amplifica de forma exponencial esos problemas anteriores.

Como ejemplo, el año pasado se hizo viral una imagen del Papa Francisco aparentemente modelando un abrigo de nieve en una pasarela, y poco después se hizo viral otra imagen de Elon Musk aparentemente enamorado de una mujer cibernética, y recientemente hemos visto personas como Donald Trump utilizar tecnología deep fake e imágenes de famosos creadas enteramente por software para hacer aparentar que esas personalidades apoyan su segunda candidatura presidencial en los EEUU.

Pero eso apenas es el comienzo…

Nos estamos adentrando a un mundo en donde no vamos poder estar seguros de nada de lo que leemos, vemos o escuchamos, y esto tendrá graves repercusiones sociales de forma masiva, al menos que tomemos medidas al respecto (medidas que sugiero más adelante en este mismo artículo).

Imaginen por ejemplo si llega un reclamo a una empresa de seguros, con no solo evidencia de audio de una llamada telefónica pidiendo auxilio, sino además fotografías desde múltiples ángulos del accidente reportado, y hasta video de una cámara de seguridad cercana a los hechos.

Hasta hace par de años esta evidencia se hubiese considerado prueba contundente de que el supuesto accidente reclamado realmente sucedió, y la empresa aseguradora hubiese sido obligada a pagar potencialmente millones en daños. Pero, hoy día, ¿cómo podemos estar seguros de que esa llamada telefónica, esas fotos y ese video no fueron generados por las más recientes versiones de programas como Midjourney o Sora de OpenAI?

Similarmente, si recibes una llamada de emergencia de un familiar cercano, y la voz es idéntica a esa persona, e incluye incluso el tipo de lenguaje que utilizaría, con las mismas expresiones que caracteriza a esa persona, ¿enviarías algo dinero de ayuda a esa persona para sacarla de un apuro?

Si la pregunta anterior les intrigó, noten el caso de un ejecutivo de una empresa multinacional con sede en Corea del Sur, a quienes unos hackers estafaron US$25 Millones de dólares al convencer a alguien en la empresa para que transfiriera esa cantidad de dinero.

¿Y cómo lo lograron? Pues convocaron a una víctima en el departamento de finanzas (que teníala capacidad de hacer transferencias bancarias) a una reunión virtual con el supuesto General General de Finanzas y varios otros ejecutivos de alto nivel de la empresa para discutir un asunto urgente, y sucede que todos los “ejecutivos” de la reunión habían sido personificados con tecnología deep fake para crear avatars/clones de ellos que se veían, hablaban y comportaban como los seres humanos que reemplazaban. Es decir, en esa llamada de videoconferencia grupal, la única persona real era la víctima, y todos los demás integrantes que participaron en la videollamada eran clones digitales de sus otros compañeros de trabajo y superiores de la empresa.

Estos avances en Inteligencia Artificial Generativa (IA que genera desde cero cualquier tipo de contenido que puedas imaginar) están proveyendo a una nueva generación de criminales digitales un nuevo conjunto de herramientas para engañar, estafar, atacar, sabotear, sobornar y robar a una escala hasta hace poco inimaginable.

Estamos literalmente entrando a un umbral en donde se está haciendo extremadamente difícil (por no decir casi imposible) distinguir lo real de lo falso. Y el gran problema que eso trae es que la sociedad humana desde sus orígenes se mantiene estable en base a una sola cosa: La confianza.

¿Y cómo podrá funcionar una sociedad en donde no exista confianza a nivel personal, profesional, institucional o a cualquier otro nivel? Es decir, ¿cómo sabes que la tienda a la cual le estás comprando algo online es real? ¿Cómo sabes que el portal o app de tu banco no es uno falso? ¿Cómo sabes que con quien estés hablando en una videoconferencia es quien dice ser? ¿Cómo sabes que el video que viste de un ser querido supuestamente haciendo una fechoría es real? ¿Cómo sabes que los resultados de tus búsquedas en Internet son reales? ¿Cómo sabes que el video de tu hija haciendo pornografía no es real? ¿Cómo sabes que la empresa con la cual llevas semanas negociando es real? ¿Cómo sabes que las autoridades gubernamentales que te están demandando un pago de impuestos es real? ¿Cómo sabes que un documento científico que estás leyendo es real y cita fuentes reales y contiene datos reales? ¿Cómo sabes que las noticias que estás viendo es real? ¿Cómo sabes que lo que dice el próximo candidato presidencial es reall?

Bajo este nuevo esquema social que estamos entrando gracias a la IA Generativa se hará casi imposible operar, creer o maniobrar, y podríamos fácilmente llegar a un estancamiento social de proporciones épicas.

Sin embargo, hay soluciones que podemos implementar como sociedad.

La primera es una recomendación que hago a nivel familiar y de amigos cercanos, y es la de crear una palabra o frase clave que solo ustedes conozcan, y que nunca hayan comunicado de forma digital en ningún momento, de modo que si algún día reciben una llamada de emergencia o de alguna otra índole dudosa, ustedes puedan preguntar la palabra o frase clave para verificar la identidad de la persona al otro extremo de la comunicación.

Así que por ejemplo, si en una reunión familiar nos ponemos de acuerdo de que nuestra palabra de seguridad será “Segismundo”, y posteriormente recibes una llamada de un familiar aludiendo una emergencia y pidiendo una transferencia de dinero, lo primero que le preguntarías es la palabra clave secreta. Si la persona no pueda contestarla (o al menos decirte el lugar y otros datos del día en que acordaron la clave) eso significa entonces que esa persona está posiblemente siendo personificada por un hacker con tecnología deep fake.

La segunda sugerencia es una sugerencia tecnológica que debemos exigir se integre a toda tecnología que capture o genere contenido en cualquier formato (sea texto, sonido, imágenes o videos), y tiene que ver en que desde su misma fuente debemos poder codificar una firma digital que podamos verificar contra alguna fuente.

Así que por ejemplo, bajo este esquema toda cámara digital, todo celular, todo micrófono y toda IA que genere imágenes, texto, sonido o video debe poder incrustar información que permita comprobar que el cotenido o fue (1) generado por medios “orgánicos” (como por ejemplo, un video que capturaste en un cumpleaños) o (2) por medios sintéticos (como un video de un cumpleaños imaginario generado por una IA), así como proveer información de su fuente (como el autor, fecha de creación, etc).

De esta manera, si vemos una noticia o leemos un libro o artículo, o recibimos una llamada de audio o participamos en una videoconferencia, podemos tener algún grado de certeza de que lo que percibimos es real o sintético y de su actual procedencia.

Para esto es necesario desarrollar estándares tecnológicos en la industria para que la información capturada (por ejemplo) por una cámara digital esté cifrada desde el momento que es capturada por su sensor de imagen, y para que una firma digital sea parte de la imagen antes de que esta se almacene o esté disponible para distribuirse, y de paso que en cualquier momento se pueda detectar si el contenido fue alterado en lo más mínimo.

Una buena noticia es que ya existe una iniciativa de parte de algunos fabricantes de cámaras y líderes de la industria para crear algo similar, e incluso ya existen algunas cámaras profesionales del mercado con tecnología similar a esto, y de paso ya existe investigación para crear sistemas que incluyan watermarks (“sellos de agua” digitales) en habla generada por IA Generativa, e incluso ya existe una propuesta de ley en el estado de California en EEUU para requerir que todo contenido sintético tenga que venir con un watermark, por lo que poco a poco veremos este tipo de tecnología esparcirse a todo sistema que genere contenido de alguna forma.

Y esperemos que estas soluciones ocurran más temprano que tarde, ya que de no ser así nos arriesgamos a que la falta de confianza en nuestros sentidos nos lleven a un caos social con resultados posiblemente catastróficos para la humanidad.

-

p.d.: Para los curiosos sobre la pregunta que puse al inicio del artículo, no, este articulo no fue escrito por una IA. O al menos eso le digo a ustedes…


Actualización El lector Sergio Hernandez hizo una buena observación en los comentarios sobre el tema de firmas digitales, y respondí a su comentario para aclarar que cuando hablamos de una firma de agua digital hablamos de una firma criptográfica basada en el concepto de un Hash (y por extensión en cifrado de datos con llaves públicas y privadas), sin embargo esos son conceptos demasiados técnicos que extenderían demasiado este artículo, lo importante es el concepto de poder verificar la fuente de algo.

autor: josé elías

Comentarios

  • Ya echaba de menos una entrada en el blog principal.
    La IA es la herramienta definitiva para desinformar.
    Los políticos estarán libres de usarla para tal fin y nosotros obligados a utilizar marcas de agua, o firmas digitales.

  • Hola José, quería comentar que, el sueño de poder incrustar marcas de agua no es factible técnicamente por varias razones:

    1) Puedo usar un modelo open source para generar imágenes que no inserte marca de agua, o si lo inserta, comentar esa parte del código en mi versión del software.

    2) En el caso de la imagen, pero vale para todos, es relativamente sencillo crear una red neuronal que convierta una imagen con marca a otra igual pero sin marca. De hecho, puedes usar el truco anterior y pedirle a tu IA sin marcas que reescale la imagen original a x2, por ejemplo, y obtienes otra igual sin la marca de agua.

    3) En el caso de texto, por ejemplo, no hay forma de meter una marca de agua en, por ejemplo, la frase "Sí, yo soy Donald Trump", son solo n caracteres! No "cabe" ninguna marca aquí.

    El otro día se me ocurrió una forma curiosa de saber si un video es real: incluir en la toma un metrónomo ajustado a una frecuencia visible en el propio metrónomo. La IA no va a saber generar las imágenes con la precisión temporal necesaria para que el metrónomo funcione como debe, si cada 27 fotogramas debe estar en cierta posición, la IA no sabría hacerlo. Pero bueno, es como el truco de la palabra clave, funciona si lo preparas antes, pero no es generalizable.

    Mi opinión es que no vamos a poder evitar estos datos fake excepto en casos contados y usando la imaginación: pedirle que silbe a tu hijo por teléfono, una clave secreta, etc. Estamos ante un cambio bestial de credibilidad.

    • Ojo Sergio,

      Que por “marca de agua” no me refiero a esas imágenes que se ponen semi-transparente sobre una imagen o un video, y por eso en el artículo me refiero a una firma digital.

      La idea es utilizar firmas criptográficas para firmar digitalmente un documento en base a un “hash” (para los no-técnicos, un Hash es una función que dado un grupo de caracteres o bits devuelve un valor único para esa secuencia).

      Esto es lo que se hace hoy día cuando se firma digitalmente un documento (y aclaro, en este otro caso cuando hablo de firma digital de documento no me refiero a cortar y pegar una copia de la imagen de como se ve una firma cuando alguien la hace con un lapicero, sino que una firma criptográfica que puede ser verificada ante un origen por medio de una cadena de confianza).

      Es posible utilizar esta técnica también con audio y con simple texto. Aunque para texto es más útil para artículos completos, ya que como bien aludes para pequeñas frases no tiene sentido hacerlo.

      ¡Abrazos y gracias por comentar!

      • Sí, conozco todo eso, me refería en general a incrustar algún tipo de marca, firma digital, transparencia, patrón reconocible, etc., lo que sea... todas esas técnicas son débiles.

        Por ejemplo, si firmas un PDF, yo puedo imprimirlo a una impresora PDF y obtener una copia sin firma, si incluyes información en ciertos píxeles invisible al ojo humano, una IA puede detectarlos y cambiarlos, si en el texto introduces algún tipo de "rima oculta", otra IA puede reescribir el texto sin usar esa rima, etc. No hay ningún "ratón" conocido que no tenga su "gato" ya creado.

        El problema es peor de lo que pintas en el artículo.

        Como comentas, hay cámaras que firman la foto digitalmente, pero si editas esa foto en, digamos, gimp, desaparece la firma. Aún puedes demostrar ante un juez que tu foto es real y se tomó con tú cámara, pero teniendo solo la editada, no sabes si es real o no.

        Y al contrario, puedo tomar una imagen fake, hacerle una foto con mi cámara con firma digital, y demostrar que esa imagen es una foto real hecha con mi cámara.

        • En realidad Sergio no funciona así con los PDFs firmados criptográficamente, ya que al simplemente imprimirlos ya no puedes demostrar que es original. Para demostrar que es original debes tener acceso a la versión digital y esta debe tener una firma digital incrustada con un certificado digital avalado por alguna institución creada para tales fines.

          Y en tu otro ejemplo refuerzas la idea del artículo, ya que si editas la foto esta pierde su identidad criptográfica digital y por tanto ya no puedes asegurar su procedencia. En otras palabras, el objetivo de estas tecnologías es precisamente evitar que edites la versión original, ya que al hacerlo la firma automáticamente se invalidad (incluso si cambia apenas un solo bit de información).

          • Ya veo, tu idea es no permitir circular información sin firmar, o que exista "información certificada" que este firmada, y el resto sería de procedencia "no confirmada".

            Complicado de implementar, pero igual no hay otra!

            He trabajado en proyectos de firma digital y esto tendría serios problemas:

            -Todo dispositivo o programas de edición de video, fotos o textos, etc. y también los que usen los usuarios para visualizarlos (tanto en celular como en windows, mac o linux) deben llevar la firma digital incorporada tanto en su formato de lectura como de grabación. Hoy día eso lo tiene acrobat reader y pocos más, en video o imagen no existe ni el formato.

            -Editar una foto o video firmado, de cualquier forma (recortarlo, convertirlo de raw a jpeg) destruiría su firma. Solo se podría servir la información en su formato original: fotos y videos en el raw de la cámara!

            -Cualquiera puede generar un certificado, para que sea aceptado universalmente, ha de venir generada por una entidad "de confianza" y en cada lugar usan unos diferentes. Te fiarías de un video firmado con un certificado del estado norcoreano?

            -Estas entidades de confianza son hackeables, ha ocurrido, y tienes de repente millones de videos certificados en la red.

            -Una foto o un video grabado por un particular no tendría validez, excepto si este particular firma todo lo que graba. Esto quiere decir que todos los que reciban el video sabrán quién eres, con tu nombre y datos reales, trazable. Un gran problema de privacidad. Y si no lo firmas y se usa en una noticia, que esté firmada no dice que sea verdad.

            -No evitas que alguien capture pantalla con un tweet tuyo, lo edite, lo firme y lo publique, el origen es él, pero el tweet es falso. Para esto tendrías que firmar cada cosa que publiques.

            -En videollamadas en directo no puedes firmar nada, si te llama tu nieto y no es él, este sistema no te ayudaría. Idem en llamadas de voz.

            Yo no le veo solución en la práctica.

            • Tienes razón Sergio en que no es trivial implementar esto ya que tocaría todos los aspectos de nuestras vidas tecnológicas, pero hay una solución: adoptar esto como parte estándar en todo sistema operativo (iPhone OS, iPad OS, macOS, Android, Windows, Linux, etc) de modo que esta funcionalidad ya venga de fábrica y sea totalmente transparente al usuario final.

              Un ejemplo de esto en acción son las páginas web seguras y como sale “el candadito” que le indica al usuario que la comunicación entre tú y el servidor remoto está cifrada. Esto ocurre 100% transoarente al usuario ya que es parte intrínseca de los navegadores web y de los servidores web, y sin embargo es algo bastante complejo lo que ocurre tras bastidores.

            • Y en cuanto a la implementación de mi sugerencia a nivel general, la idea sería que en tu celular (para usarlo de ejemplo) tengas una opción a nivel del sistema operativo que te permita elegir entre ver:

              (1) solo contenido que sea poder verificado.
              (2) contenido mixto (este sería el defecto los primeros años)

              Si eliges la opción 2 entonces todo contenido que no pueda ser verificado te sería resaltado de alguna manera. Por ejemplo, quizás al hacer una captura de pantalla tu celular te identificaría todo lo ves en pantalla y te daría la opción de ver su procedencia.

        • Sergio, precisamente eso es lo que se buscaría con usar una firma digital, confirmar si el documento fue modificado. Tal como dices, seria fácil remover cualquier "marca", pero ese cambio automáticamente invalida la firma.

          Te sugiero que leas un poco sobre los hashes a los que hace referencia el autor.

  • Que grato gusto poder seguirte leyendo, en un nuevo mundo digital, será una delicia seguir leyéndote natural o lo artificialmente se pueda!

    Gracias por seguir regalándonos de ti

  • Excelente articulo. Con tanta información disponible hoy día (y hambre de views y likes) es difícil encontrarla de calidad, muchas gracias por tus aportes...

    Un joven te comenta que el año proximo va a comenzar la universidad y le gustaría estudiar Ingeniería de Software, pero no está tan seguro. Considerando el auge y desarrollo de los modelos de AI y la conclusión común propagada por los expertos y no expertos en el tema: "La AI te sustituirá profesionalmente hablando", ¿Que le responderías a ese joven?

    • Hola Osvaldo,

      Independientemente del avance de la I.A., ingeniería de software continuará siendo una habilidad muy valuable. La I.A., al menos por ahora, no reemplazará al 100% a los humanos, sino que los complementará.

      Es cierto que en algunas áreas se reducirá el tipo de desarrollado de software en humanos que es repetitivo, pero siempre habrá cabida para la imaginación y mentes inventivas.

      También hay que considerar que la IA le están dando a los humanos una potente herramienta para aumentar su productividad, lo que implicará una mayor demanda de ingenieros de software al corto plazo.

      En resumen, recomendaría no desistir y al contrario adentrarte a este emocionante mundo. Solo asegúrate de que es lo que deseas hacer y lo que te hace feliz, y si lo vas a hacer dale el 100% de tu parte y no te conformes con solo aprender lo básico de la programación, lo apasionante está en entender todo tras bastidores, desde los transistores hasta los microprocesadores, y desde el sistema operativo hasta el stack de redes, y desde los algoritmos de asignación de tareas en un entorno multi-núcleo hasta el diseño de bases de datos. Entender todo esto es lo que te destacará de otros ingenieros de software, y hoy día hay incontables recursos para aprenderlo incluso por tu cuenta como complemente a una educación formal.

      Abrazos.

  • es increible que haya gente inteligente pero que no quieran , puedan admitir o comprender que demasiada tecnologia punta esta destrozando el planeta en el que vivimos. Ya no son maquinas ni artefacos como los telefonos mobiles que estan deteriorando las ondas que hay en el aire y la energia electromagnetica que hay en las nubes y cargandose hasta los microorganismos que hay en las nubes. Si, en las nubes tambien existen aunque la mayoria de la gente no sabe. Y la inteligencia artificial esta haciendo que hasta los sentidos nos enganen y que tengamos que depender mas de las maquinas simplemente para que sea todo mas rapido.
    La gente se esta volviendo loca con pensar que si todo es mas rapido y se conecta todo como en las redes sociales es mejor. No hay nadie que se de cuenta que esto es peor no solo para las personas sino para todo lo que hay en el planeta tierra? a la larga la tecnologia esta afectando a todas las cosas y yo todavia no se de ninguna cosa de la tierra que no se vea afectada por la tecnologia. La tecnologia deberia ser usada a un nivekl minimo
    para todo no como se hace ahora. Televisores en blanco y negro, telefonos fijos de casa. Se gasta menos energia, menos materiales, menos fabricas lo mismo pasa con los telefonos fijos en vez de mobiles es mas que suficiente. Hay que volver atras o a la edad de piedra, no entiende nadie esto tan simple? el calor sigue subiendo, la gente se queja pero todo lo demas es egoismo y es seguir usando maquinas y mas maquinas que inteligencia mas baja. Y la inteligencia artificial no ayuda a hacer lo que yo digo. Ni ahora ni en el futuro lo hara pues ya el hecho de existir como tecnologia agrava el clima mundial.

  • Hola José, qué gusto leerte de nuevo! Los que llevamos tiempo leyendo tu trabajo creo que ya podemos detectar si eres tú, jejeje... Excelente tu visión, muy acertada, se aproximan tiempos bastantes confusos para el público en general con estos avances.

  • Gran articulo, José Elias. Como extraño este blog. Ojalá algún día decidas volver a retomarlo, no con la misma intensidad de antes, pero si de forma regular.

  • Se supone que esta es una de las funciones principales de la red de worldcoin de Sam Altman (cofundador de OpenAI), crear una identidad única escaneando el iris de seres humanos y creando una especie de hash con el que identificarte como humano en ciertas apps. Aunque en España han retirado los Orbs (escáneres) mientras se aclaran ciertos asuntos sobre protección de datos y privacidad.

  • Esperamos que Eliax se anime de nuevo y por lo menos escriba un articulo semanal para el blog. El hizo como una promesa o un juramento de escribir cierta cantidad de articulos y cuando desgraciadamente lo cumplio, abandono el blog. Este blog yo lo tengo como referencia cuando quiero estudiar o saber algo.

Añadir Comentario

tu nombre
tu email
(opcional)
web personal
(opcional)
en respuesta a...
comentario de caracteres máximo
7 + 3 = requerido (control anti-SPAM)
¿De qué color es el cielo?: requerido (control anti-SPAM)
 

"Y si en algún momento se llega a comprobar que leer ayuda a generar nuevas neuronas, desde ya te agradezco, por todas las que me ayudaste a generar."

por "Gustavo" en jun 10, 2013


en camino a la singularidad...

©2005-2024 josé c. elías
todos los derechos reservados
como compartir los artículos de eliax