Desafíos y potencialidades para la ciencia abierta reproducible en la era de la IA

Este posteo cubre tres temas: IA y ciencia abierta, reproducibilidad e impacto en la práctica científica. Supone un nivel de conocimiento básico sobre IA y se complejiza a medida que avanza la lectura. Podés empezar a leerlo desde la sección que más te interese.

🌐 Read this post in English

Resumen. Muchos investigadores usan IA generativa para redactar manuscritos, generar código y resumir literatura. Si estos modelos se emplean para la obtención de resultados, podemos pensar que son parte del análisis y deberían cumplir los mismos estándares de apertura y transparencia de la ciencia abierta. A partir de esta premisa, recorremos tres características de la ciencia abierta que estos modelos tensionan: cuán abierto es realmente un modelo, qué riesgos aparecen al querer publicar o compartir datos, y si documentando en detalle su uso podríamos volver reproducible el análisis. Finalmente, introducimos los sistemas multiagente de investigación: la pregunta no es si la IA reemplazará a los investigadores, sino qué estamos haciendo para asegurar que estas nuevas herramientas se usen de forma responsable y segura en cada disciplina.

Imagen de portada: Janet Turra & Cambridge Diversity Fund / Better Images of AI / Licencia CC BY 4.0

Introducción

Desde que ChatGPT fue liberado al público en 2022, los grandes modelos de lenguaje (siendo sus siglas en inglés LLMs) se volvieron para muchos parte de la vida cotidiana. Detengámonos por un momento a relacionar al conocido chatbot con lo que llamamos “Inteligencia Artificial” (IA). Los modelos tras los chatbots como Claude y ChatGPT son parte de la llamada IA generativa: una IA capaz de crear contenido, ya sea en forma de texto, imágenes, video, audio o código, a partir de una instrucción del usuario o prompt [1].

La dinámica es sencilla: se provee un prompt (una instrucción o pregunta que escribimos) y el modelo devuelve un output o respuesta. Estos modelos se entrenan usando enormes cantidades de datos, y ese entrenamiento fija sus pesos: parámetros que guardan lo aprendido y que, ante un prompt, asignan probabilidades a las posibles próximas palabras. En esencia, el modelo predice la palabra siguiente [1].

¿Qué usos le dieron los investigadores a los LLMs?

Ni bien esta tecnología estuvo disponible, los investigadores comenzaron a usar IA generativa entre otras cosas para mejorar la calidad de los manuscritos, generar ideas y organizar contenidos, crear código, resumir literatura y realizar revisiones por pares (peer review) más completas [2], [3]. La mayoría de las revistas científicas tomó cartas en el asunto, adoptando la postura de solicitar declarar el uso de LLMs en la metodología (o agradecimientos) del artículo científico dependiendo del uso dado [4], [5], [6].

Aun así, en algunos casos fueron reportados problemas relativos a estos primeros usos. Se señaló la desigualdad de acceso, plagio, la falta de rigurosidad en el peer review y la alucinación de citas bibliográficas: referencias inventadas que parecen reales [7], [2], [8], [9]. Aunque son problemas muy diferentes, a nivel mecanismo todos implican el uso de LLMs.

Si el LLM forma parte de la obtención de los resultados, entonces es parte del análisis. Y todo lo que es parte del análisis debería cumplir los estándares de la ciencia abierta y la reproducibilidad.

Ciencia abierta en transformación

Se define la ciencia abierta como un enfoque cooperativo de la comunidad científica donde se busca compartir conocimiento, resultados y herramientas tan temprano y ampliamente como se pueda: “tan abierto como sea posible, tan cerrado como sea necesario”. Su objetivo es promover ciencia que es accesible, inclusiva y transparente [10].

En este posteo nos vamos a enfocar en tres frentes donde la transparencia es necesaria para la reproducibilidad [11], [12]:

1. las herramientas computacionales (open source),
2. los datos analizados (open data), y
3. los procedimientos de análisis (open workflows).

Para ser abierto, todo el material debería contar con una licencia permisiva y ser de acceso público.

No siempre es posible un estudio 100% reproducible: por ejemplo, muchas veces los datos no pueden compartirse por cuestiones de privacidad.

Veamos cómo cada uno de estos tres puntos puede verse alterado por la introducción de los LLM en el análisis:

1. Código abierto: un gradiente de apertura

Si el LLM es parte de la obtención de los resultados, ¿debería liberarse el código?

Podemos pensar la apertura de estos modelos como un gradiente (Fig. 1). Los LLMs más populares, como Claude, ChatGPT y Gemini, son “propietarios”, es decir fueron pensados para un uso comercial, presentan licencias cerradas y no se conocen detalles de su arquitectura ni de sus datos de entrenamiento.

Figura 1. Tipos de LLM según cuánta información y datos hay disponibles sobre ellos

Open weight vs. open source

En el medio del gradiente están los modelos “open weight” (pesos abiertos). En general estos modelos liberan los pesos, pero no los datos de entrenamiento. Según la definición de la Open Source Initiative (OSI) [13], esto no es suficiente para que un modelo se pueda considerar abierto: hace falta al menos dejar libre la descripción y ubicación de los datos de entrenamiento, el código y los pesos y una licencia apropiada (para ver una lista más extensa, chequear [14]). Un ejemplo de los pocos modelos que cumple gran parte de estos estándares es OLMo (Allen Institute for AI) [15].

¿Alcanza con usar un modelo open weight?

Saber qué datos se usaron para entrenar un modelo es clave para entender cómo se comporta y de dónde vienen sus respuestas. La falta de transparencia en los datos de entrenamiento puede perpetuar sesgos o errores que pasan inadvertidos, impidiendo que los investigadores puedan tomar decisiones fundamentadas sobre su uso. Algunos autores llaman a esto open-washing: liberar solo los pesos como una forma de evitar el escrutinio científico y la exposición legal que podría venir con presentar sus modelos totalmente abiertos [16], [17], [18].

Entonces, ¿por qué no adoptar directamente un modelo open source?

• ¿Existe uno para mi objetivo? Puede que no lo haya, o que rinda peor en los benchmarks que te interesan. También puede pasar que, al conocer en detalle los datos de entrenamiento, termines decidiendo no elegirlo.
• Infraestructura. Correrlos localmente exige buen hardware. Si el modelo posee muchos parámetros, puede que tengas que pagar por infraestructura [19].
• ¡No son muchos! La oferta de modelos open weight supera con creces la de open source.

2. Transparencia en los datos: privacidad y anonimización

Las normas sobre cómo usar los LLMs de forma ética en investigación —protegiendo a los participantes y la privacidad de los datos— son una de las necesidades que emergen del uso de estas herramientas [23].

El problema de la anonimización: ¿qué datos vas a dejar disponibles?

Anonimizar datos solía significar borrar los identificadores explícitos —nombre, dirección, teléfono. Pero los LLMs son capaces de inferir indirectamente la identidad a partir del contexto: profesión, lugar, fechas y detalles menores que, combinados, alcanzan para reconocer a alguien [21]. En un experimento sobre textos anonimizados de personas famosas, GPT logró reidentificar a una proporción considerable de los casos, casi el triple que los participantes humanos [20]. La conclusión práctica: la anonimización debería evaluarse considerando el riesgo de reidentificación asistida por IA, y no solo la supresión de identificadores explícitos.

Acceso a modelos: En esta coyuntura, ¿dejar los datos disponibles permitiría realizar mas asociaciones a quienes pagan suscripciones a modelos de frontera?

El problema de la privacidad: ¿qué datos estás compartiendo a través de la API?

Cuando usás un LLM para procesar información sensible, acceder a ella a través de servicios de terceros puede sumar problemas de confidencialidad, residencia de los datos y cumplimiento normativo. El dato sale de tu institución y queda sujeto a las políticas y la jurisdicción del proveedor. Una alternativa es desplegar modelos open source o open weight en infraestructura propia o entornos privados, lo que permite mantener el control sobre los datos y aplicar las políticas de seguridad de la organización [22].

3. Transparencia en el workflow: reproducibilidad

Determinístico vs. Probabilístico

Cuando estamos realizando análisis de datos cuantitativos, la reproducibilidad supone que, con los mismos datos y métodos, deberíamos obtener los mismos resultados. Es decir, estamos hablando de un proceso determinístico. El uso de LLMs, en cambio, suele ser probabilístico: parámetros como la temperatura hacen que el modelo elija tokens con cierta aleatoriedad, por lo que no siempre devuelve exactamente lo mismo. Aun así, hay elementos que podemos documentar para acercarnos a un comportamiento determinístico:

Qué se puede documentar de un LLM

1. Modelo. La identidad del modelo (nombre, versión), idealmente con una Model Card [24]. Conviene usar la API antes que la interfaz web, que puede aplicar instrucciones ocultas, cambiar de versión silenciosamente y no deja fijar todos los parámetros. Idealmente, un modelo liberado para su uso sería mejor para evitar que deje de estar disponible [25].

2. Prompts y contexto. El texto exacto del system prompt (o declarar que no se usó) y de los prompts del usuario. Si hubo varios turnos, el historial completo, ya que cada intercambio influye en el siguiente.

3. Configuración del modelo:

• Parámetros que alteran la aleatoriedad del output, por ejemplo, la temperatura. A menor temperatura, disminuye la probabilidad de que tokens¹ menos probables sean elegidos. Para entender mejor qué parámetros influyen en la aleatoriedad del output, te recomendamos leer Wagner et al. [25].
• Parámetros que modifican el output, por ejemplo, el máximo número de tokens de la respuesta.

¿Y con esto alcanza para que sea reproducible? No del todo: incluso con temperatura 0, la inferencia en GPU puede variar [26], [27].

Si un LLM es un modelo estocástico, ¿tiene sentido elegirlo cuando lo que busco es reproducibilidad? Para el cómputo exacto (como hacer cuentas), un método determinístico sería preferible.

Pero creo que tenemos que reenfocar la situación. Tomemos un poco de distancia. Imaginen conmigo dos escenarios hipotéticos, uno donde solo se usan los LLMs para crear el código y uno con un mayor grado de autonomía, donde se crea directamente todo el análisis usando un LLM (Fig. 2):

Figura 2. Cuán integrado está el uso de LLMs en tu workflow

Escenario 1 — Creamos el código que necesitamos con LLMs. Siendo investigadores responsables y conociendo del tema, miraremos críticamente el código generado, lo mejoraremos, y lo podremos utilizar para nuestros resultados tal cual se venía haciendo antes de la masificación de los LLM. Es muy probable que no sepamos con qué código se entrenó el modelo, por lo cual puede ser difícil rastrear qué nos está llevando a resolver el problema de esa manera u otra y citar a los autores del software. Pero aun así, si el código queda disponible y bien documentado, estaríamos en un escenario con un alto porcentaje de reproducibilidad.

Escenario 2 — El LLM resuelve el análisis. Este escenario es un poco más radical y no tan realista en la mayoría de las situaciones. ¿Podemos pedirle directamente al LLM que realice todo un análisis de principio a fin y confiar en el resultado?

¿Por qué alguien estaría interesado en obtener resultados reproducibles usando esta tecnología?

Para tratar de responder esto, hay un salto que tenemos que dar: introducir la IA agéntica. Su uso implica no solo la posibilidad de automatizar un workflow completo, sino delegar en la IA parte de la toma de decisiones sobre un análisis. Si bien esto puede sonar atractivo ya que daría la posibilidad de agilizar y potenciar la producción científica, no es tan sencillo.

De consultar un LLM al uso de agentes

Un agente es un sistema que observa su entorno y actúa en él para alcanzar objetivos [28]. La IA agéntica completa objetivos predefinidos con supervisión limitada sobre un ciclo de percepción, planificación, acción y reflexión [29], [30]. No sustituye al LLM: lo coordina. El LLM sigue haciendo el trabajo en cada paso, mientras el andamiaje agéntico aporta autonomía y orquestación.

Un ejemplo de interés es el recientemente publicado AI Scientist, un sistema agéntico que intenta recrear una investigación científica desde cero, pasando por hipótesis, experimentación, escritura y revisión de forma automática [31]. Con esta metodología lograron la aceptación de uno de los tres trabajos generados en su totalidad por la IA a un workshop de un congreso (no a una revista).

El AI Scientist ya no está solo: en 2025–2026 apareció todo un ecosistema de sistemas multiagente para investigación, como Co-Scientist de Google DeepMind [32] y Robin de FutureHouse [33].

El tema de la reproducibilidad computacional para IA agéntica se encuentra en pleno desarrollo [34], [35], [36].

¿La IA reemplazará a los investigadores?

No puedo leer el futuro, pero sí ofrecer una observación a partir de la información compartida hasta ahora: la adopción de sistemas de IA autónomos podría potenciar líneas de investigación antes inviables por tiempo o recursos. Por otro lado abriría discusiones sobre autoría, ética y peer review, y quedaría al alcance de quienes puedan pagar sus costos.

Tal vez la pregunta que debemos hacernos no es si la IA reemplazará a los investigadores

Es probable que en un futuro cercano veamos más agentes asistiendo en partes del flujo de trabajo. Ya han surgido plataformas pensadas para el output de la IA, como aiXiv [37] o la conferencia Agents4Science [38]. Si bien esto parece un avance, no hay que perder de vista que la responsabilidad de los científicos es mantener cierto rigor en los estándares de la producción científica. Definir la colaboración IA-humano en este contexto es vital [39].

Sin embargo, no todos coinciden en que empujar hacia agentes cada vez más autónomos sea deseable. Bengio y colegas advierten que la carrera por construir agentes generalistas conlleva riesgos serios de seguridad: sistemas mal alineados que engañan, buscan autopreservarse o escapan al control humano. Como alternativa, proponen una “Scientist AI” no agéntica, diseñada para explicar el mundo en lugar de actuar en él. En definitiva, una IA pensada para asistir a los investigadores, no para reemplazarlos [28].

Leyendo estos artículos pienso que, entre líneas, la discusión no es si la IA va a reemplazar a los humanos, sino cómo el sistema científico se adaptará a estas herramientas. La pregunta “¿La IA reemplazará a los investigadores?” asume la autonomía de la IA, como si mágicamente un día descubriéramos que podemos delegar todo en ella y dejarla realizar nuestras tareas. Si algún día podemos confiar en una IA autónoma a ese nivel, será porque hemos tomado múltiples decisiones sobre su desarrollo, decisiones que inevitablemente tienen un fuerte componente social y ético. Tal vez la pregunta que debemos hacernos sea: “¿Qué estoy haciendo para asegurar un uso responsable y seguro de la IA en mi disciplina?”

Agradecimientos

Agradezco a Roxana Villafane por la lectura de este texto y comentarios al respecto. También agradezco a Patricia Loto y al equipo de RSE Argentina por la invitación a la charla que dio origen a este blogpost.

Sobre el uso de IA en este posteo

En coherencia con lo que se plantea más arriba, vale aclarar el rol que tuvo la IA en este texto. Las ideas, la estructura argumental, la selección de fuentes y las conclusiones son propias de la autora. Modelos de lenguaje (Sonnet 5 y Fable, de Anthropic) se utilizaron como asistentes de edición: corregir la redacción y la ortografía, verificar que las citas existieran y darles un formato consistente, armar la lista de referencias y condensar algunas secciones. No generaron los argumentos, y todas sus sugerencias fueron revisadas por la autora antes de incorporarse.

Cómo citar este texto

Si querés reutilizar o referenciar este posteo, podés citarlo así:

Formato breve (APA aprox.): D’Andrea, F. (2026). Desafíos y potencialidades para la ciencia abierta reproducible en la era de la IA. https://florencia-dandrea.netlify.app/posts/2026-07.html (Versión archivada: https://doi.org/10.5281/zenodo.21347212)

BibTeX:

@misc{flor2026,
  author       = {D'Andrea, Florencia},
  title        = {Desafíos y potencialidades para la ciencia abierta reproducible en la era de la IA},
  year         = {2026},
  howpublished = {Entrada de blog},
  url          = {https://florencia-dandrea.netlify.app/posts/2026-07.html},
  note         = {Versión archivada en Zenodo: https://doi.org/10.5281/zenodo.21347212}
}

Referencias

1. MIT News (2023). Explained: Generative AI. https://news.mit.edu/2023/explained-generative-ai-1109
2. Almarie, B. et al. (2023). Editorial – The Use of Large Language Models in Science: Opportunities and Challenges. Principles and Practice of Clinical Research, 9(1), 1–4. https://pmc.ncbi.nlm.nih.gov/articles/PMC10485814/
3. Computing (2023). Artículo sobre usos de LLMs en investigación. Computing, Springer. https://link.springer.com/article/10.1007/s00607-023-01181-x
4. Science. Science Journals: Editorial Policies. https://www.science.org/content/page/science-journals-editorial-policies
5. Science. Science Journals: Guidelines for the Use of Generative AI. https://www.science.org/cms/asset/86716fc6-8edc-46a4-ab20-2d0e2d4700c5/science_journals_guidelines_for_ai_use.pdf
6. Taylor & Francis. AI Policy. https://taylorandfrancis.com/our-policies/ai-policy/
7. Gao, J. & Wang, D. (2024). Quantifying the use and potential benefits of artificial intelligence in scientific research. Nature Human Behaviour, 8(12), 2281–2292. https://www.nature.com/articles/s41562-024-02020-5
8. Nature (2023). Política editorial sobre el uso de IA generativa. https://www.nature.com/articles/d41586-023-00191-1
9. Naddaf, M. & Quill, E. (2026). Hallucinated citations are polluting the scientific literature. What can be done? Nature, 652, 26–29. https://www.nature.com/articles/d41586-026-00969-z
10. UNESCO. Open Science. https://www.unesco.org/en/open-science/about
11. The Turing Way Community. Open Research. https://book.the-turing-way.org/reproducible-research/open/
12. Open Knowledge Foundation. The Open Definition. https://opendefinition.org/
13. Open Source Initiative. The Open Source AI Definition. https://opensource.org/ai/open-source-ai-definition
14. Open Source Initiative. Checklist to Evaluate Machine Learning Systems. https://opensource.org/ai/checklist
15. Ai2 – Allen Institute for AI (2024). Hello OLMo: A truly open LLM. https://allenai.org/blog/hello-olmo-a-truly-open-llm-43f7e7359222
16. Open Source Initiative. Open Weights: Not Quite What You’ve Been Told. https://opensource.org/ai/open-weights
17. Comprehensive Analysis of Transparency and Accessibility of ChatGPT, DeepSeek, and other SoTA Large Language Models (2025). arXiv:2502.18505. https://arxiv.org/abs/2502.18505
18. Liesenfeld, A. & Dingemanse, M. (2024). Rethinking open source generative AI: open-washing and the EU AI Act. FAccT ’24: Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency, 1774–1787. https://doi.org/10.1145/3630106.3659005
19. Local AI Master. AI Hardware Requirements 2026: Beginner-Friendly Guide. https://localaimaster.com/tutorials/getting-started/hardware-requirements
20. Patsakis, C. & Lykousas, N. (2023). Man vs the machine in the struggle for effective text anonymisation in the age of large language models. Scientific Reports, 13, 16026. https://www.nature.com/articles/s41598-023-42977-3
21. Staab, R., Vero, M., Balunović, M. & Vechev, M. (2024). Beyond Memorization: Violating Privacy via Inference with Large Language Models. The Twelfth International Conference on Learning Representations (ICLR 2024). arXiv:2310.07298. https://arxiv.org/abs/2310.07298
22. Dorca Josa, A. & Bleda-Bejar, M. (2024). Local LLMs: Safeguarding Data Privacy in the Age of Generative AI. A Case Study at the University of Andorra. ICERI2024 Proceedings, 7879–7888. https://doi.org/10.21125/iceri.2024.1931
23. Schroeder, H., Aubin Le Quéré, M., Randazzo, C., Mimno, D. & Schoenebeck, S. (2025). Large Language Models in Qualitative Research: Uses, Tensions, and Intentions. CHI ’25: Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. https://doi.org/10.1145/3706598.3713120
24. Mitchell, M. et al. (2019). Model Cards for Model Reporting. arXiv:1810.03993. https://arxiv.org/abs/1810.03993
25. Wagner, S., Muñoz Barón, M., Falessi, D. & Baltes, S. (2024). Towards Evaluation Guidelines for Empirical Studies involving LLMs. arXiv:2411.07668. https://arxiv.org/abs/2411.07668
26. Gond, R., Kamath, A. K., Ramjee, R. & Panwar, A. (2026). LLM-42: Enabling Determinism in LLM Inference with Verified Speculation. arXiv:2601.17768. https://arxiv.org/abs/2601.17768
27. Thinking Machines Lab. Defeating Nondeterminism in LLM Inference. https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/
28. Bengio, Y. et al. (2025). Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path? arXiv:2502.15657. https://arxiv.org/abs/2502.15657
29. IBM. What is agentic AI? https://www.ibm.com/think/topics/agentic-ai
30. Google Cloud. What is agentic AI? https://cloud.google.com/discover/what-is-agentic-ai
31. Lu, C., Lu, C., Lange, R. T., Yamada, Y., Hu, S., Foerster, J., Ha, D. & Clune, J. (2026). Towards end-to-end automation of AI research. Nature, 651(8107), 914–919. https://www.nature.com/articles/s41586-026-10265-5
32. Gottweis, J. et al. (2026). Accelerating scientific discovery with Co-Scientist. Nature. https://www.nature.com/articles/s41586-026-10644-y
33. Ghareeb, A. E. et al. (2026). A multi-agent system for automating scientific discovery (Robin). Nature. https://www.nature.com/articles/s41586-026-10652-y
34. Starace, G. et al. (2025). PaperBench: Evaluating AI’s Ability to Replicate AI Research. arXiv:2504.01848. https://arxiv.org/abs/2504.01848
35. Reproducible, Explainable, and Effective Evaluations of Agentic AI for Software Engineering (2026). arXiv:2604.01437. https://arxiv.org/abs/2604.01437
36. Siegel, Z. S., Kapoor, S., Nagdir, N., Stroebl, B. & Narayanan, A. (2024). CORE-Bench: Fostering the Credibility of Published Research Through a Computational Reproducibility Agent Benchmark. arXiv:2409.11363. https://arxiv.org/abs/2409.11363
37. aiXiv: A Next-Generation Open Access Ecosystem for Scientific Discovery Generated by AI Scientists (2025). arXiv:2508.15126. https://arxiv.org/abs/2508.15126
38. Bianchi, F., Queen, O., Thakkar, N., Sun, E. & Zou, J. (2025). Exploring the use of AI authors and reviewers at Agents4Science. arXiv:2511.15534. https://arxiv.org/abs/2511.15534
39. Noble, A. (2026). Thinking & Doing Science in the Age of AI. Daedalus, 155(1-2), 306–315. https://doi.org/10.1162/DAED.a.989

Notas

1. Unidades mínimas de texto, palabras o fragmentos de palabras, que un LLM procesa o genera en cada paso.