No es secreto que la tecnología avanza a un ritmo vertiginoso, trayendo consigo innovaciones que transforman el día a día de las personas y el ambiente de negocios. La IA, en particular, dejó de ser una promesa para convertirse en una herramienta omnipresente (tanto en ambientes privados como corporativos). Sin embargo, esta rápida adopción también abre puertas a nuevos riesgos, dilemas éticos y desafíos de seguridad de la información. ¿Cómo deben posicionarse las empresas? ¿Cuál es la responsabilidad de las instituciones financieras en un escenario de estafas cada vez más sofisticadas? ¿Y qué peligros se esconden en las nuevas herramientas de IA que utilizamos?
En el episodio #405 del podcast Segurança Legal, Guilherme Goulart y Vinícius Serafim se sumergen en estos temas complejos. Con la claridad y profundidad que son marca registrada del programa, analizan noticias recientes que van desde filtraciones de contraseñas y fraudes bancarios hasta los riesgos emergentes de los navegadores con IA y las consecuencias del uso descuidado de la tecnología por grandes corporaciones. Este artículo resume los principales puntos e insights de esta conversación indispensable para profesionales del derecho, TI, compliance y seguridad.
El dilema de la IA en el ambiente corporativo: entre la prohibición y el "Shadow IT"
El episodio comienza abordando un dolor común en muchas empresas: la falta de directrices claras sobre el uso de herramientas de Inteligencia Artificial, como los LLMs. Se trata de un problema creciente conocido como "Shadow AI", donde, en ausencia de reglas, los empleados utilizan las herramientas que les parecen, muchas veces sin las configuraciones de seguridad adecuadas. Vinícius Serafim destaca los dos extremos peligrosos que las empresas adoptan:
"He visto tanto situaciones en las que la empresa simplemente dice que no se puede usar [...] Y también hay otro extremo, en el que el personal utiliza lo que se le ocurre. Entonces no hay una recomendación formal por parte de la empresa."
La falta de una política de uso no impide la utilización de la IA; solo la vuelve invisible y descontrolada, exponiendo a la empresa a filtraciones de datos, violaciones de propiedad intelectual y otros riesgos jurídicos y reputacionales.
Fraudes bancarios y el deber de seguridad: la posición del STJ
Uno de los tópicos centrales del episodio fue el análisis de una decisión reciente del Superior Tribunal de Justicia de Brasil (STJ) que amplió la responsabilidad de las instituciones de pago en casos de estafas de ingeniería social. La decisión establece que estas instituciones tienen un deber de seguridad que va más allá de la simple protección contra filtraciones de datos.
Guilherme Goulart explica que las empresas deben analizar el comportamiento de sus clientes para identificar actividades sospechosas. En el caso juzgado, un cliente que raramente movía su cuenta tuvo 14 transacciones realizadas en un solo día. El STJ entendió que esta ruptura en el patrón de uso debería haber activado una alerta. Según Goulart, las instituciones deben monitorear:
- Transacciones que se desvían del perfil del cliente.
- Horario y ubicación de las operaciones.
- Intervalo de tiempo y secuencia de las transacciones.
- Contratación de préstamos atípicos.
Esta decisión consolida el entendimiento de que el riesgo de la actividad no puede ser totalmente transferido al consumidor, forzando a las instituciones financieras a invertir en tecnologías, incluida la IA, para la detección preventiva de fraudes.
La nueva amenaza: prompt injection en navegadores con IA
La popularización de navegadores con IA integrada, como Atlas (de ChatGPT) y Comet (de Perplexity), inaugura una nueva era de conveniencia, pero también de vulnerabilidades. Vinícius Serafim alerta sobre el peligro del prompt injection en estos ambientes.
Estos navegadores funcionan como agentes que pueden ejecutar acciones en nombre del usuario, como realizar compras, enviar correos electrónicos o interactuar con redes sociales. Si un usuario accede a una página o abre un archivo malicioso que contiene un prompt injection, la IA puede ser "convencida" de ejecutar comandos no autorizados.
"En esencia, eso es lo que estos navegadores pueden hacer. Y entonces, obviamente, empezaron a aparecer ataques de prompt injection contra navegadores de IA. [...] Las posibilidades en teoría son infinitas, porque tienes una herramienta que puede interactuar con internet en tu nombre", advierte Vinícius.
El riesgo es que la IA, interactuando con las cuentas ya conectadas del usuario, puede ser utilizada para robar datos, realizar compras fraudulentas o ejecutar otras acciones maliciosas, sin necesidad de robar contraseñas.
El "fiasco de la IA": cuando la confianza ciega sale cara
El episodio cierra con un caso emblemático: la consultora Deloitte tuvo que devolver 1,5 millones de dólares australianos al gobierno después de entregar un informe generado por IA repleto de "alucinaciones", como citas de artículos académicos y libros que no existían.
Guilherme Goulart usa el caso para discutir las consecuencias reales del uso descuidado de la IA, conectándolo con casos de abogados en Brasil que fueron multados por litigación de mala fe al presentar peticiones con jurisprudencia inventada por IA. Esto plantea una cuestión fundamental sobre el cumplimiento mediante IA, es decir, cuándo y cómo la inteligencia artificial puede ser utilizada en la prestación de un servicio contratado.
"Vamos a tener que empezar a repensar los arreglos contractuales para, respetando la buena fe objetiva, dejar claro y transparente cuándo y cómo se va a utilizar la IA", reflexiona Guilherme.
La lección es clara: la IA es una herramienta de apoyo, no un sustituto de la verificación y la responsabilidad profesional. La falta de transparencia y el exceso de confianza pueden manchar reputaciones y generar pérdidas financieras significativas.
Conclusión
El episodio #405 de Segurança Legal funciona como un círculo completo: comienza con la falta de gobernanza interna sobre IA y termina mostrando las graves consecuencias externas de esa negligencia. Las discusiones demuestran que, en un mundo impulsado por la tecnología, la seguridad de la información y el cumplimiento legal necesitan evolucionar constantemente. Ignorar los nuevos riesgos no es una opción.
Para profundizar en la discusión con ejemplos prácticos y análisis detallados, escuche el episodio completo de Café Segurança Legal. Y si usted valora contenido independiente y de calidad sobre seguridad, derecho y tecnología, considere apoyar al podcast en su campaña de financiamiento colectivo.
Este post fue resumido a partir del audio del podcast con el uso de IA, con revisión humana.