Introducción

En 2014 fue lanzado el Policy Lab en Reino Unido, el cual ha explorado la práctica del diseño de políticas públicas a través de la innovación y los enfoques centrados en las personas. El proyecto denominado “Una revisión independiente de la atención social a la infancia: Apreciar el contexto familiar más amplio”, se hizo con el fin de auditar la política sobre asistencia social en la infancia (Sadar et al., 2022). El laboratorio se enfocó en los contextos familiares amplios, para comprender el impacto del sistema de asistencia social en las familias que lo utilizan. Adoptaron un enfoque etnográfico a través de relatos en videos e imágenes para comprender cómo experimentan los padres, tutores y niños el sistema existente. Al finalizar esta revisión, tanto los encargados del laboratorio como los responsables políticos, coincidieron que este material ayuda a demostrar a los agentes del gobierno cómo se siente este sistema para las familias de una manera auténtica. De esta forma, se evidencia que un cambio aparentemente pequeño puede significar el re-diseño de toda una política pública. Este ejemplo soporta la tesis de que el uso del pensamiento de diseño para la planificación estratégica de una determinada política pública puede facilitar un compromiso consciente del capital humano, el desarrollo de una infraestructura y una participación efectiva de las partes interesadas.

El pensamiento de diseño se ha adoptado como un marco de resolución de problemas que ofrece la posibilidad de mejorar productos, procesos y servicios con prácticas basadas en la innovación (Mayer et al., 2021, p. 23). Al centrarse en la colaboración, co-creación y la empatía, esta metodología puede combinarse con herramientas de medición del impacto (Decker & Ladikas, 2004). Teniendo en cuenta que el pensamiento de diseño describe un modelo de innovación basado en la observación centrada en el ser humano, la colaboración y la creación de prototipos, no es un proceso estático o específico, sino que involucra diversos métodos (Trischler et al., 2019, p. 1599). Algunos puntos clave de esta metodología son la colaboración, inclusión y co-creación, los cuales hacen referencia a un simple mantra: “Todo el mundo tiene voz”. Esa voz multipartes es finalmente lo que hace de este proceso algo legítimo y democrático. Será sobre este punto del pensamiento de diseño que esta investigación centra la discusión frente a la creación de estrategias de ia.

Esta investigación pretende demostrar que el enfoque del pensamiento de diseño, principalmente en su fase de co-creación, es potencialmente propicio para la creación e implementación de los denominados marcos éticos de la ia, debido a su énfasis en el diseño centrado en el ser humano y otros atributos fundamentales como la empatía, aunque plantea muchos retos para su aplicación. Con ello, se busca responder a la siguiente pregunta de investigación: ¿Cómo el pensamiento de diseño puede garantizar la participación multipartes en la creación e implementación de marcos éticos para la ia?

Este estudio emplea una metodología deductiva, a través del análisis de dos estrategias de ia, en su etapa de co-creación y participación de actores. Se basa en la dogmática legal, para la revisión de doctrina, principios, normas y conceptos, alrededor de la creación de estrategias de ia, con miras a determinar el acercamiento de estos a una participación multipartes y cómo se manifiesta esta co-creación en el proceso de diseño. Primero, se hace una descripción del pensamiento de diseño y el proceso de Evaluación de Impacto (ei). En segundo lugar, se describen dos estrategias de ia: la canadiense y la colombiana, enfocadas en la participación multistakeholder. En tercer lugar, se describe cómo a través de la aplicación del pensamiento de diseño se puede materializar la inclusión de las múltiples partes interesadas. En cuarto lugar, se desarrollan algunos desafíos para la verdadera participación. Finalmente, se presentan algunas recomendaciones y conclusiones.

Pensamiento de diseño y Evaluación de Impacto (ei)

La definición de pensamiento de diseño no ha sido pacífica en la doctrina (Plattner et al., 2009). Sin embargo, algunos autores coinciden en que el pensamiento de diseño incluye aspectos comunes como el establecimiento de objetivos, la orientación centrada en el usuario, el seguimiento e iteración de un proceso y la participación de grupos interdisciplinares (Johansson-Sköldberg et al., 2013; Schallmo et al., 2018). Así, el pensamiento de diseño es un proceso iterativo que busca entender a usuarios, desafiar suposiciones, redefinir problemas y crear soluciones innovadoras que se puedan prototipar y probar.

Este método ha ido transformándose desde la década de 1960, cuando fue considerado como un enfoque particular para la solución creativa de problemas (Archer, 1965; Arnold, 1959). Esta metodología puede producir soluciones que satisfacen una necesidad novedosa o soluciones que satisfacen una necesidad antigua de una manera completamente nueva. De igual forma, desde ese momento se expresó la necesidad de ampliar el alcance del diseño convencional a otras disciplinas para complementarse.

Aplicar el pensamiento de diseño a un reto político se consideraba un asunto novedoso y un método diferente de enmarcar, investigar y resolver problemas políticos. Hoy en día este método se ha adoptado en diversas industrias y espacios de creación de políticas. Aunque el enfoque del pensamiento de diseño existe desde los años sesenta (Thienen et al., 2018), ha resurgido un renovado interés por esta metodología. En particular, frente a los desafíos en temas de innovación, con un número creciente de vertientes que le apuntan a una estructura basada o centrada en el usuario como, por ejemplo, la privacidad por diseño y por defecto (Cavoukian, 2012); los análisis de impacto regulatorios y tecnológicos (Decker & Ladikas, 2004); y el diseño legal. De esta forma, el pensamiento de diseño sigue calando en áreas no exploradas identificando nuevos métodos que podrían mejorar la forma en que se elaboran, prueban y aplican las políticas (Bason & Austin, 2021).

Así, se puede afirmar que el pensamiento de diseño tiene el potencial de mejorar la definición de los problemas y el diseño de mecanismos en los procesos de elaboración de políticas públicas (Mintrom & Luetjens, 2016). En efecto, al promover una mayor comprensión de la forma en que los ciudadanos experimentan el acercamiento con el Estado, el pensamiento de diseño puede ayudar a los formuladores de políticas a incrementar el valor público en los ciudadanos y su consecuente confianza.

De otro lado, la ei es un proceso estructurado que considera las implicaciones —para las personas y su entorno— de las acciones propuestas, mientras todavía existe la oportunidad de modificar o incluso, si procede, abandonar las propuestas (Howard, 2009). Esta metodología se aplica a todos los niveles de la toma de decisiones, desde las políticas hasta los proyectos concretos. Así, la ei implica la identificación y caracterización de los impactos más probables de las acciones propuestas y una valoración de la importancia social de esos impactos.

El objetivo de la ei es proporcionar información para la toma de decisiones que analice las consecuencias sociales, económicas e institucionales de las acciones propuestas, promoviendo la transparencia y la participación del público en la toma de decisiones de cualquier organización (Sara, 2020). Entre los principales tipos de ei se encuentran, las ei de políticas públicas, ei ambientales y ei estratégicas, entre otras. Esta metodología ha sido adoptada por diversas organizaciones nacionales e internacionales para identificar el impacto, o el posible impacto, de una regulación, de una industria e incluso de una tecnología en un determinado espacio (Kim & Wolf, 2014).

El proceso de ei beneficia a los proponentes, las partes interesadas y las comunidades locales, así como a los responsables de la toma de decisiones (Howard, 2009). Aunque la ei ha sido criticada desde su introducción por ser una herramienta tecnocrática, basada en modelos racionales de toma de decisiones, las directrices y principios contemporáneos para la práctica de la ei tienden a enfatizar el “enfoque participativo e inclusivo”, que reconoce diferentes tipos de conocimiento, y la importancia de representar los puntos de vista de diferentes grupos de la sociedad, independientemente de su estatus económico y político (Renda et al., 2013; Sara, 2020).

Todas estas formas de ei comparten los mismos principios básicos, la metodología y la finalidad, pero pueden diferir en cuanto a métodos y técnicas específicas. En los últimos años, la ei se ha vinculado fuertemente a los conceptos de sostenibilidad, y algunos aseguran que la sostenibilidad es parte integrante de todas las actividades de ei (Pope et al., 2013; Therivel, 2020). Por otra parte, es posible realizar ei en otros contextos políticos y de valores, sin referencia directa o indirecta al pensamiento de sostenibilidad, el cual implica la valoración de los cambios a largo plazo y/o significativos, producidos por una intervención de desarrollo o una serie de intervenciones. Así, la evaluación de impacto no es una herramienta o metodología. En cambio, puede llevarse a cabo mediante muchas herramientas, metodologías —pensamiento de diseño— y enfoques diferentes.

En este sentido, tanto los críticos como los entusiastas de la ia acogen con satisfacción las ‘regulaciones inteligentes’ (Gunningham & Sinclair, 2017). A pesar de que la noción de ‘regulación’ suele ser recibida con frustración por parte de las empresas, quizá sea mejor adoptar una posición de influencia sobre este proceso regulatorio. La adopción de la ‘regulación inteligente’ busca entonces enfocar a las diversas organizaciones y Estados para encontrar puntos de contacto (pensamiento de diseño) entre industrias, usuarios y Gobierno, con el fin de analizar si es necesaria una regulación o no, basados en la búsqueda de objetivos comunes (ei). Esta metodología ayuda a los responsables políticos a formular formas más flexibles, imaginativas e innovadoras de instrumentos políticos. Con ello, la regulación inteligente consiste principalmente en responder al ‘problema del ritmo’ .la tecnología avanza más rápido que la regulación—, con el objetivo de crear una regulación cíclica, en lugar de normas duraderas que establezcan estándares legales fijos durante décadas (Fenwick et al., 2017; World Economic Forum, 2016).

La reglamentación inteligente también responde a los problemas de coordinación y conocimiento, al ser más interactiva e incluir a más partes interesadas, como grupos de interés, organismos profesionales, asociaciones industriales y cuasi-reguladores .como los organismos de certificación. (Bryson et al., 2011, p. 3). Este enfoque permite a los legisladores obtener una perspectiva más completa y diversa de los problemas, así como de las posibles soluciones, al tiempo que contribuye a una mayor aceptación de las intervenciones reguladoras por parte de las partes interesadas.

Con todo lo anterior, la combinación del pensamiento de diseño y las ei permiten realizar una contrafactual centrada en el usuario y/o ciudadano para medir el impacto de una medida, una regulación, un cambio e incluso una estrategia de ia, al tiempo que se identifican los fallos de diseño programático y se generan soluciones para su mejora. El proceso participativo para el desarrollo conjunto hace relevante las múltiples perspectivas de los usuarios y conjuntos de datos para proporcionar nuevas líneas de evidencia, y así, buscar soluciones innovadoras y ofrecer un enfoque más iterativo de la evaluación.

Estrategias ia: canadá y colombia

Todos los ciudadanos estamos rodeados de dispositivos conectados a internet. Máquinas y softwares inteligentes utilizan la cantidad de datos generados por estos dispositivos para tomar decisiones y en un futuro, no lejano, podrán llegar a realizar acciones sin supervisión humana (Big Data Value Association [bdva], 2018). Esto tendrá implicaciones importantes sobre cómo los ciudadanos toman decisiones, cómo interactúan con las empresas privadas y el Gobierno, así como quién será responsable cuando algo salga mal.

Expertos consideran que la ia plantea riesgos y oportunidades globales mayores que, incluso, los riesgos de la tecnología nuclear (Baum, 2020; Renda, 2019). De esta forma, el uso de ia será una característica determinante de nuestros mercados y sociedades ( wipo, 2019, p. 10). La ia es una constelación de tecnologías que permiten a las máquinas emular hasta cierto grado las capacidades humanas de sentir, comprender y actuar, para complementar estas capacidades en las empresas y Gobiernos a medida que aumentan su sofisticación (Walden & Christou, 2018). Así, teniendo presente que los sistemas impulsados por la ia tienen amplias repercusiones sociales y económicas, se ha demostrado que exacerban la discriminación y las desigualdades estructurales (Bault & Rusconi, 2020; Bozdag, 2013).

De este modo, sea intencionado o no, estamos rodeados de tecnología. Tecnología que puede llegar a excluir a grupos de personas (Umoja Noble, 2018) y explotar la psicología humana (Eubanks, 2018; Friedman & issenbaum, 1996), la cual ha impactado a la sociedad de formas que nunca imaginamos. Muchas preocupaciones sobre tecnologías basadas en ia han sido bien publicitadas, solo para citar algunos ejemplos: Los algoritmos de ia integrados en las tecnologías digitales y de medios sociales pueden reforzar los prejuicios sociales (Coeckelbergh, 2020, p. 2055), acelerar la difusión de rumores y la desinformación (Bathaee, 2020, p. 13), amplificar las cámaras de eco de la opinión pública (Bozdag & van den Hoven, 2015), secuestrar nuestra atención, perjudicar el bienestar mental (Bhargava & Velásquez, 2020) e invadir nuestra privacidad e intimidad (Flórez Rojas, 2022). Así, aunque el temor a las tecnologías ‘inteligentes’ se ha estudiado en diferentes frentes como el trabajo, la economía, entre otros, es una realidad a la cual nos debemos adaptar.

Sin embargo, independientemente del tipo de ia, los riesgos y las preocupaciones sociales han hecho evidente la necesidad de adoptar una política para abordar estas preocupaciones y diseñar un régimen adecuado de gobernanza de ia, centrado en la preservación de la relación entre el ser humano y la sociedad ( Nathan, 2018; Young et al., 2019). De esta forma, la sensibilización de los posibles riesgos no debe ser malinterpretada como un enfoque anti-innovador. Por el contrario, es necesario considerar estas implicaciones de forma adecuada y suficiente para asegurarse de que las nuevas tecnologías, como los sistemas de ia, se construyan y funcionen de forma aceptable para los usuarios y la sociedad en su conjunto.

La ia se puede considerar como un actor dominante dentro de las principales tendencias tecnológicas digitales que dan forma a nuestra economía y sociedad global actual. Según la encuesta sobre The state of ai in 2020, realizada por McKinsey & Company, la mitad de los encuestados dicen que sus empresas han adoptado esta tecnología en al menos una función al interior de su organización (Balakrishnan et al., 2020). El interés y la importancia de la investigación y la innovación responsables es cada vez mayor entre académicos y políticos, especialmente en relación con las tecnologías emergentes, como la ia. Así, el uso del pensamiento de diseño para la planificación estratégica de la ia puede facilitar un compromiso consciente del capital humano, el desarrollo de una infraestructura de datos y una arquitectura informática eficientes, así como la creación de un programa proactivo de ética digital para prevenir algunas de las preocupaciones existentes relacionadas con la adopción de la ia a gran escala en todo el mundo.

Con ello, la implementación de ia alrededor del mundo ha estado permeada por los denominados ‘principios éticos’, tales como, bienestar ambiental, transparencia y seguridad, entre otros ( oecd, 2020). Hasta la fecha, al menos 84 de estas iniciativas de “ética de la ia” han publicado informes que describen principios éticos, valores u otros requisitos abstractos. Diversas organizaciones prevén que estas contribuciones de alto nivel se ‘traduzcan’ en requisitos de diseño de nivel medio o bajo y en arreglos técnicos, marcos de gobernanza y códigos profesionales (Fjeld et al., 2020). Así, a medida que las organizaciones adoptan la ia con mayor rapidez, la implementación de estos principios se considera una de las mejores formas de garantizar que la ia no cause daños involuntarios.

Sin embargo, a pesar de que los principios éticos pueden establecer ideales normativos, los mismos carecen de mecanismos para hacer cumplir estos valores y principios, toda vez que los principios no son autoejecutables, y no hay sanciones tangibles cuando son violados o amenazados (Munn, 2022). Pocos países han adoptado algún instrumento regulatorio vinculante para la implementación de ia en su territorio. En su lugar, han decidido adoptar una especie de soft law, en donde se establecen algunas directrices para el sector público y privado, en aras de promover el uso de estas tecnologías para la innovación y el desarrollo del país. Estas iniciativas buscan ser desarrolladas a través de un proceso multipartes que pueda ser aplicable a distintos actores, considerando la diversidad de intereses. Sin embargo, estos marcos han sido blanco de críticas por la falta de inclusión real de las partes interesadas y de transparencia en el proceso de creación de estas estrategias.

Bajo este entendido, algunas jurisdicciones han ido más allá de los principios éticos y han iniciado la apuesta por la creación de una política pública relacionada con las implicaciones de ia en la sociedad. En primer lugar, la Comisión Europea presentó en abril de 2021 una nueva propuesta de marco normativo que se centra en la utilización específica de estos sistemas y los riesgos asociados (Madiega, 2021). Por su parte el Gobierno de Canadá busca cada vez más utilizar ia para tomar, o ayudar a tomar, decisiones administrativas para mejorar la prestación de servicios y para ello, fruto de su estrategia nacional decidió enfocar sus esfuerzos” legislativos en promover la Directiva sobre la toma de decisiones automatizada (“Directive on Automated Decision-Making”, 2021). Resulta, entonces viable preguntarse ¿cómo afrontar las diversas implicaciones de la ia?, así como, ¿cuál es la forma más adecuada de ‘regular’ la ia para mitigar esos riesgos?

Para los efectos de este estudio, se describen en la tabla 1 las denominadas estrategias de ia con los diversos procesos participativos de Canadá y Colombia. Esta investigación centra sus esfuerzos en los procesos de Canadá y Colombia teniendo en cuenta que, de un lado, Canadá ya ha hecho una aproximación más allá de principios éticos y, de otro lado, Colombia es el país que ha puesto sus esfuerzos en promocionar los principios, pero sin miras a una regulación pronta. Además, la estrategia canadiense fue impulsada por un documento firmado por diversas partes interesadas, mientras que la colombiana, se basó en las aproximaciones de Estados Unidos y la Unión Europea, que se desarrollan más adelante. De esta forma, podremos contrastar dos estrategias diferentes en esencia, pero que comparten algunos puntos de contacto.

En primer lugar, como se evidencia en la tabla anterior, las estrategias tanto en Canadá como en Colombia han elaborado diversos documentos y se han creado algunos grupos, al interior de los Gobiernos, encargados de gestionar la estrategia nacional. En Canadá, se formó el Advisory Council on Artificial Intelligence, mientras que en Colombia se crearon tres grupos: un grupo especializado (Task Force), el Consejo Internacional y la Misión de Expertos. Ambos países identificaron la necesidad de asignar a personas expertas en la materia para liderar esta estrategia.

Sin embargo, el proceso de identificación del objetivo de la estrategia y su campo de aplicación ha sido diferente en ambos países. De un lado, en Canadá la estrategia se ha concentrado en tres pilares: i) comercialización; ii) estándares técnicos y iii) talento e investigación ( cifar, 2020; Gobierno de Canadá, 2021). A través de estos pilares se ha desarrollado una política nacional específica sobre decisiones automatizadas, la cual nace fruto de seis años de diálogo e interacción con diversos grupos de empresarios, emprendedores, ciudadanos y académicos, entre otros. Desde el 2016 hasta el 2022, Canadá centró sus esfuerzos en comprender la necesidad, entender el objetivo y entender las implicaciones de la ia, con el fin de buscar ese primer acercamiento regulatorio, tal y como se expresa en los procesos de pensamiento de diseño y ei.

En contraste, la estrategia colombiana se ha enmarcado en la creación de diversos documentos que se basan en las modelos anglosajones y europeos. Desde el 2019, Colombia ha recibido el apoyo del caf y del bid para la construcción de dichos instrumentos. Los instrumentos se han basado en la adopción general de la ia, sin llegar a establecer un objetivo o punto de partida específico para la estrategia. Sin embargo, dentro del documento que creó la Misión de Expertos, se establecen tres áreas de trabajo que deberán explorar los expertos internacionales: i) La experimentación e innovación en el desarrollo de políticas públicas, prototipos, pruebas de políticas y laboratorios de talento; ii) La generación de programas de talento específicos al contexto colombiano, a partir de las diversas iniciativas; y iii) La generación de iniciativas con un enfoque dirigido a la preservación del medio ambiente, al cambio climático y al desarrollo sostenible (Mujica Ramírez & Guio Español, 2021, p. 60).

En segundo lugar, se puede identificar dentro de cada estrategia la visión inclusiva o excluyente acogida. La estrategia canadiense fue impulsada por el Canadian Institute for Advanced Research (cifar), un grupo interdisciplinar fundado en 1982; Alberta Machine Intelligence Institute (amii), un instituto sin ánimo de lucro, que apoya la investigación sobre ia y traduce los avances científicos en la adopción por parte de la industria; Ǫuebec ai Institute (mila), un instituto de investigación; y Vector Institute, una corporación independiente, que trabaja con instituciones, la industria, empresas de nueva creación, incubadoras y aceleradoras para hacer avanzar la investigación sobre ia e impulsar su aplicación, adopción y comercialización en Canadá (Brandusescu et al., 2021, p. 9). El Gobierno de Canadá acercó a las universidades e institutos que se encontraban realizando investigaciones sobre ia para entender mejor el fenómeno con el fin de promover el desarrollo y la innovación en el campo. Esta estrategia tuvo una gran acogida en la creación de una sólida base de talento investigador en Canadá.

De otro lado, la estrategia colombiana ha sido permeada por diversos grupos y organizaciones internacionales, tales como el Berkman Klein Center for Internet & Society, el bid, el caf y un grupo de expertos internacionales que conformaron la Misión de Expertos de ia (Guío Español, 2021a, p. 7). Dentro de los documentos descritos en la tabla 1 no se hace mención a los diversos centros de investigación de ia en el país, tales como, Cinfonia de la Universidad de los Andes; Audacia de la Universidad Simón Bolívar; Davinci de la Universidad Militar Nueva Granada y Grupo gia de la Universidad Tecnológica de Pereira, en cambio, se mencionan universidades extranjeras como guía para la elaboración de estos documentos, lo que indica que el talento nacional no se ha tenido en cuenta para la definición del objetivo de la misma estrategia. Resulta importante aclarar que desde la primera versión del marco ético en Colombia se ha priorizado la opinión y comentarios internacionales sobre los nacionales, provocando que desde su inicio esta estrategia haya tenido cierta resistencia por los sectores excluidos. Así, mientras que en la estrategia canadiense los grupo de investigación de academia, sociedad civil e industria fueron patrocinados y acogidos dentro de la elaboración del marco nacional, en Colombia, por el contrario, no se visibilizaron estos grupos ni fueron llamados para ser parte integral de la estrategia nacional.

Es de anotar que los documentos propuestos sí se han abierto a comentarios, en cumplimiento de las obligaciones legales que tienen las entidades de publicar los proyectos de regulación, recibir observaciones y dar respuestas, con el fin de que los ciudadanos o grupos de interés participen en el proceso de producción normativa, a través de opiniones, sugerencias o propuestas alternativas. De los registros públicos que están disponibles se pudieron identificar cuatro documentos que se abrieron a comentarios: i) Marco ético 1ª, 2ª y 3ª versión; ii) Modelo conceptual para el diseño de Regulatory Sandboxes & Beaches y iii) Consejo Internacional. Los tiempos para presentar comentarios van, aproximadamente, entre 14 y 18 días hábiles (Hernández et al., 2022). Sin embargo, la participación y co-creación, a las que hacen referencia las ei y el pensamiento de diseño, van más allá de ese cumplimiento legal, buscan que las diversas partes interesadas sean reconocidas dentro del proceso, sean identificadas y mapeadas a nivel nacional, y se abran espacios de diálogo constructivo (Hernández et al., 2022).

En tercer lugar, los mecanismos de participación de cada estrategia dan cuenta de la inclusión o no de las diversas partes interesadas. En ambas estrategias se identifican mecanismos indirectos de recolección de información, a través de la apertura a comentarios de los diversos instrumentos. Sin embargo, en la estrategia canadiense se identifican mecanismos directos de inclusión de las partes interesadas, tales como talleres de socialización, entrevistas y grupos de trabajo, mientras que en la estrategia colombiana se identifican una serie de relatorías de reuniones privadas que no dan cuenta de las organizaciones participantes, ni de sus aportes en los documentos. Sobre este punto se profundiza adelante.

Finalmente, tal y como lo han señalado la Organización para la Cooperación y el Desarrollo Económicos (oecd) (oecd, 2000, 2012, 2019) y la Organización de Naciones Unidas (onu) (acnudh & onu, 1975), las partes interesadas abarcan todas las organizaciones y personas que participan en los sistemas de ia o se ven afectadas por ellos, directa o indirectamente. Con ello, un enfoque multistakeholder hacia la gobernanza de la ia puede contribuir a establecer normas mundiales legítimas y de confianza, que funcionen como herramientas decisivas para dirigir las sociedades cada vez más orientadas a lo digital, hacia la inclusión social completa (oecd, 2022, p. 4; United Nations, 2021, p. 36)

Pensamiento de diseño y la inclusión de las múltiples partes interesadas

Cottam & Leadbeter han escrito sobre las comunidades de co-creación, con el fin de “construir el conocimiento y la confianza de los usuarios para actuar por sí mismos en nuevas asociaciones con los profesionales” (2004, p. 8). En este sentido, las diversas partes interesadas cooperan para alcanzar objetivos comunes. En la práctica, puede ocurrir que dentro del proceso de cooperación algunas partes no hagan parte del diseño específico de determinado artefacto, pero es indispensable su participación en la recolección de información para la elaboración del primer artefacto. Así, la legitimidad de la participación puede ser un requisito previo para la adecuada implementación del artefacto creado con la participación necesaria.

Lo anterior se traduce en que la creación de un artefacto, como lo sería una estrategia de ia, se construye sobre la base de un conjunto de partes interesadas, que aportan conocimiento y experiencia sobre esa tecnología. Luego, con base en esas experiencias, se diseña —bien sea en conjunto o por una de las partes— el primer artefacto para ser evaluado y determinar si es necesaria alguna modificación. Esta forma de aproximarse a la metodología de diseño — la construcción de la estrategia de ia en conjunto con los diversos actores de la sociedad— fomenta el debate sobre la ética y le agrega legitimidad al proceso de co-creación. Así, reunir al sector privado, los grupos de consumidores y el mundo académico permite desarrollar un código ético que se mantenga al día con los avances tecnológicos, sociales y políticos.

La creación de valor público se basa en una expresión políticamente mediada de preferencias determinadas colectivamente; es decir, lo que la ciudadanía considera valioso (Trischler et al., 2019, p. 1596) y lo que las partes interesadas que participan en la implementación consideran valioso, teniendo conjuntamente el potencial de ofrecer resultados o beneficios para la sociedad. Estas extensiones ponen de manifiesto la importancia de considerar la naturaleza multiactoral de las actividades de co-creación de valor (Birhane et al., 2022). Sin embargo, en cuanto a su importancia para la conceptualización del diseño de las diferentes ser la base fundamental para consolidar una regulación o unas reglas de juego para los actores, implica que no es posible diseñar estos denominados ‘marcos’ como productos predefinidos. Por lo tanto, el resultado del proceso de diseño de un marco ético se asimila a una propuesta de valor, en la que todos los actores y partes interesadas pueden transformar y ser partícipes de este cambio (Mayer et al., 2021; Valentine et al., 2017).

Bajo esta perspectiva, hay dos aspectos que parecen fundamentales para el diseño legítimo de un marco ético de la ia. En primer lugar, la identificación y entendimiento de las posibles situaciones de uso futuro mediante la obtención de información sobre las experiencias y necesidades de los usuarios (Trischler et al., 2019, p. 1597). Es decir, a partir de la información experimental y los datos consolidados de los diferentes agentes de la ia —usuarios finales, desarrolladores y todos los involucrados— se debe empezar a formular un ‘marco ético’, pues serán ellos quienes al final del proceso se verán afectados por el uso de estas tecnologías en su diario vivir. En segundo lugar, la coordinación de los recursos entre múltiples actores con el fin de prototipar las potenciales soluciones —principios, directivas o regulación— basadas en el usuario final. Así, es sobre la etapa de ideación que se centra esta investigación, toda vez que hace referencia a la traducción de necesidades de los agentes de la ia en los principios que guiarán a la organización en la implementación de esta tecnología.

Un enfoque iterativo y colaborativo del diseño de la estrategia de ia permite explorar diversas visiones a través de una experiencia multilateral del uso e implicaciones de esta tecnología. El co-diseño está relacionado con la tradición del diseño participativo y con el argumento de que los afectados por un diseño deben tener voz y voto en su proceso (Holmlid, 2009; Ehn, 2008). Durante este proceso, esencialmente democrático y participativo, se utilizan herramientas tales como, juegos, visualizaciones, entrevistas y mesas de trabajo, para involucrar a todos los participantes y facilitar una indagación conjunta. El co-diseño ha demostrado ser eficaz en la exploración de los conocimientos únicos de los usuarios sobre el uso de determinado producto o, en este caso, de la tecnología y, de igual forma, en identificar las necesidades latentes (Payne & Calton, 2017). Así, el pensamiento de diseño materializa el trabajo colaborativo a través de la construcción de prototipos de manera conjunta.

Una construcción conjunta de una estrategia de ia debe, entonces, procurar abrir ese camino de diálogo y conocimiento colectivo entre sociedad civil, academia, industria y Gobierno. Este proceso no se surte presentando documentos elaborados a puerta cerrada, sin discusión y sin mesas de trabajo, única y exclusivamente con el fin de hacer un check list de los elementos a cumplir dentro del análisis de impacto normativo recomendado por organizaciones internacionales. Contrario a lo anterior, un proceso consensuado requiere de la participación colectiva e iterativa, durante distintas etapas de todas las partes interesadas.

De esta forma, la gobernanza multipartita de la ia hace referencia a una práctica que consiste en reunir a múltiples partes interesadas para que participen en el diálogo, la toma de decisiones y la aplicación de respuestas a problemas percibidos conjuntamente (Young et al., 2019, p. 303). El principio que subyace a esta estructura es que, si los múltiples tipos de actores implicados en una cuestión realizan suficientes aportes, la decisión final consensuada adquiere mayor legitimidad y puede aplicarse con mayor eficacia, que una respuesta tradicional basada en el Estado.

Pero ¿qué se entiende por múltiples partes interesadas? Las partes interesadas se refieren a un conjunto de actores de diferentes esferas sociales, políticas y económicas que trabajan juntos para gobernar un área física, social, económica o política como lo es la ia. El abanico de actores puede incluir multinacionales, empresas nacionales, Gobiernos, organismos de la sociedad civil, expertos académicos y otros grupos institucionales (Bryson et al., 2011). Como mínimo, un grupo multisectorial debe contar con dos o más actores de diferentes grupos sociales, políticos o económicos. Si no es así, el grupo es una asociación comercial (todos los grupos empresariales), un organismo multilateral (todos los Gobiernos), un organismo profesional (todos los académicos), etc. Casi todos los organismos multisectoriales tienen al menos una empresa multinacional o un organismo empresarial y, al menos, una organización de la sociedad civil o una alianza de organizaciones de la sociedad civil como miembros clave (United Nations, 2006, p. 6).

Así, los procesos inclusivos y participativos movilizan la inteligencia colectiva de las comunidades para garantizar que se escuchen las voces y las preocupaciones de los grupos interesados y que estos participen en la toma de decisiones clave. Una ia saludable y con beneficio social solo puede lograrse mediante la cooperación entre todos los actores interesados, procurando recolectar las opiniones de diversos sectores y regiones. Estos procesos participativos ayudan a sensibilizar y mejorar la apropiación en la fase de aplicación de una política pública, así como a aumentar la transparencia y la creación de redes. También, es de anotar que, los procesos participativos eficaces de múltiples partes interesadas requieren esfuerzo, tiempo y recursos de todas las partes implicadas para construir un elemento fundamental: la confianza.

Los retos de la participación multistakeholder

Las iniciativas multipartitas deben incluir de forma significativa a todas las personas cuyas voces deben ser escuchadas. La experiencia adquirida hasta ahora en materia de gobernanza digital demuestra que la inclusión significativa es un desafío. A manera de ejemplo, Tuchman en su libro The March of Folly from Troy to Vietnam relata una serie de fracasos tras ignorar los intereses y la información de las principales partes interesadas (Tuchman, 1985). El libro se trata de la aplicación de políticas, por parte de los Gobiernos, contrarias a sus propios intereses; en él se explica las repercusiones de no querer escuchar a otros, de no querer incluir a todos y, sobre todo, de pensar que solo la visión céntrica de una política puede ayudar al desarrollo social. En este sentido, Tuchman menciona que existen tres actitudes en los procesos desenganchados de los interesados: i) indiferencia ante el creciente descontento de los electores, ii) primacía del engrandecimiento propio y iii) la ilusión de invulnerabilidad, un sesgo cognitivo que puede definirse como de excesiva confianza en que nada malo va a ocurrir. Así, la falta de atención a los intereses, necesidades y perspectivas de las partes interesadas puede representar un grave defecto en la creación de políticas —estrategias de ia— y pueden conducir a una ausencia de legitimidad.

Sin embargo, la experiencia adquirida hasta la fecha sugiere que los esfuerzos por lograr una inclusión significativa en la gobernanza multistakeholder se quedan cortos frente a retos importantes como: i) La desigualdad en la capacidad real de las múltiples partes interesadas; ii) El cumplimiento de metas anuales de una agenda gubernamental, y iii) La ausencia de diversos mecanismos de participación.

Desigualdad en la capacidad real de las múltiples partes interesadas

Las iniciativas multipartitas suelen incluir cuatro tipos de partes interesadas: organizaciones internacionales, Gobiernos, sector privado y sociedad civil. Sin embargo, invitar a las partes interesadas de cada categoría puede convertirse en un ejercicio de marcar casillas, en lugar de un verdadero intento por incorporar diversas perspectivas de diferentes agrupaciones de todo el mundo. En este sentido, la estrategia canadiense creó un sólido ecosistema a través de la promoción de talentos canadienses, incluida la creación de centros de investigación, innovación y formación en los institutos nacionales de ia; mientras que la estrategia colombiana no ha hecho un mapeo estratégico y actualizado de las partes interesadas, como institutos de investigación o centros de desarrollo. Es importante destacar que el Departamento Nacional de Planeación (dnp) intentó mapear el ecosistema de datos en el país, con el propósito de intercambiar, producir y consumir datos para el cumplimiento de diferentes fines (Departamento Nacional de Planeación [dnp], 2022). Sin embargo, la estrategia colombiana se enfocó en la elaboración de documentos apoyados principalmente de organizaciones internacionales, que no promueven en términos de ‘capacidad’ a los talentos nacionales. Por ejemplo, tanto en el documento del Task Froce como en el Maco Ético, versión final, se menciona a la Universidad de Harvard como punto de partida para el estudio e implementación de la política sobre ia y para el estudio de los riesgos de esta tecnología (Guío Español et al., 2021). La inclusión de múltiples partes es una fuente de innovación para las organizaciones del sector público, que puede ayudar a construir redes de intercambio de información y colaboración para la construcción de proyectos (Schwoerer et al., 2022, p. 80). Con ello, la estrategia colombiana olvidó promover el talento nacional e hizo caso omiso a los desarrollos de ia que ya estaban presentes en el país.

Adicionalmente, las iniciativas que supuestamente abarcan diversas partes interesadas suelen incluir solo a las regiones centrales, dejando por fuera a diversos actores en otras regiones periféricas del país. En el mismo sentido, del sector privado, solo se invita a las grandes empresas tecnológicas, pero las más pequeñas rara vez son escuchadas, aunque puedan tener una visión más matizada, basada en sus áreas de enfoque o mercados atendidos. Asimismo, los representantes de la sociedad civil suelen ser grandes o g internacionales, en lugar del tipo de actores locales que pueden entender mejor lo que ocurre sobre el terreno. Así que, en términos de capacidad, las diversas partes interesadas compiten entre ellas para ser escuchadas y poder tener una voz en la mesa.

Finalmente, parte de este desafío consiste en la financiación para la participación. A manera de ejemplo, en Canadá, el Gobierno ha financiado, de un lado, institutos nacionales de ia para ayudar a traducir la investigación en aplicaciones comerciales y aumentar la capacidad de las empresas para adoptar estas nuevas tecnologías; así como, incentivos a las pequeñas y medianas empresas canadienses, atrayendo inversiones privadas de otras fuentes públicas y privadas, y desarrollando soluciones de ia hechas en Canadá (Gobierno de Canadá, 2022). Por su parte, la información sobre el gasto o inversión del Gobierno colombiano no ha sido del todo transparente. Se sabe que el caf y el bid han financiado, a través de créditos, algunas iniciativas con miras a la transformación digital del país, que se ha centrado en los comentarios y consultorías de agentes y organizaciones internacionales ya mencionadas (“bkc Scholars Helped Guide…”, 2022). Se puede afirmar que el dinero marca la agenda a seguir en el país; cómo y quién convoca las iniciativas, sigue siendo un gran reto en la gobernanza de la ia. Así que, aunque en teoría una iniciativa puede parecer que aporta una heterogeneidad de perspectivas, en la práctica puede haber múltiples actores que presionan todos en la misma línea.

La poca flexibilidad en los tiempos de participación

El gran número de documentos relacionados con la ia en Colombia en comparación con Canadá, dan cuenta del desgaste de las diversas partes interesadas, así como del poco tiempo para atender a estos llamados. Participar en múltiples documentos de este tipo pone a prueba los recursos de una organización; de hecho, puede ser un trabajo a tiempo completo incluso para saber en qué iniciativas debería priorizar su participación. En el ejemplo canadiense, se evidenció que, a través de una iniciativa, proveniente de la sociedad civil, la academia y el Gobierno, se hizo el llamado a la creación de un documento único para discusión —Redacción de la Directiva Política vinculante centrada en la automatización de las decisiones—. A partir de este documento se realizaron diversos cambios en los pilares, las agencias y las fases de la estrategia en un lapso de siete años. Es decir, todos los actores debían concentrarse en un documento que sería la base para la estrategia naciente. En cambio, la estrategia colombiana lanzó aproximadamente 16 documentos, cuatro de ellos para comentarios en un lapso de cinco años.

Esta apresurada apuesta por figurar en los rankings internacionales hizo que las diferentes partes interesadas no se vieran reflejadas en los documentos finales ni en el lanzamiento de la estrategia gubernamental (Guío Español, 2021b). Así, la participación efectiva de las partes interesadas debe ser oportuna. Esto significa que las partes interesadas deben disponer de plazos suficientes para su participación, bien establecidos y comunicados con antelación a las oportunidades reales de participación (Wayneixon et al., 2019, p. 3).

En relación con la participación realizada por el Gobierno colombiano, uno de los puntos que resalta el consultor de la estrategia de ia en Colombia es la realización de las relatorías para el marco ético de la ia (Guío Español et al., 2021). Sin embargo, cuando se analizan estas relatorías se pueden identificar algunos puntos preocupantes. Primero, se utiliza el término relatoría de forma incorrecta. Relatoría hace referencia a un texto cuyo principal objetivo es presentar un informe de lectura en donde el documento da cuenta de la apropiación y el dominio de quien escribe la relatoría respecto al texto leído o temas discutidos en una sesión. Para las relatorías será importante diferenciar y especificar los participantes —con la debida autorización— y sus aportes. Las diferentes partes interesadas invierten tiempo y dedicación en la participación de estos espacios, y por ello, dentro de su desarrollo profesional se debe entregar la autoría en estos procesos para crear incentivos indirectos por parte de sus empleadores y así fomentar estos espacios de participación (Warner, 2016). Segundo, estas relatorías resumen de forma general las preocupaciones discutidas en estos espacios sin que se exponga por parte del convocante los pasos a seguir luego de las sesiones, las respuestas del convocante o incluso si existirán o no nuevos espacios de discusión. Tercero, no se evidencian las propuestas formuladas por sociedad civil y academia en el desarrollo de la estrategia de ia que fueron formuladas en los comentarios a los documentos. Finalmente, estas relatorías corren el riesgo de convertirse en meras tertulias, toda vez que se evidencia la ausencia de articulación de estos mecanismos de participación con el resultado final, no siendo claro si lo que se busca con este mecanismo es meramente consultivo o si en realidad será capaz de tener algún impacto. Con todo lo anterior, se evidencia que el compromiso efectivo de las partes interesadas debe ser iterativo. El compromiso no es un proceso o evento singular, sino un proceso continuo en el que existen múltiples oportunidades de compromiso continuo para las diferentes partes (Wayneixon et al., 2019, p. 4). El diálogo debe ser bidireccional entre los anfitriones de las consultas y los asistentes, con mecanismos de participación institucionalizados para proporcionar un diálogo a largo plazo.

Ausencia de mecanismos diversos

La implementación del proceso de diseño en las estrategias de ia es un proceso evolutivo. Las múltiples partes interesadas varían desde procesos de consulta cortos hasta compromisos de varios años que pueden evolucionar a través de muchas fases (Brouwer et al., 2016, p. 12). La variedad de las partes interesadas surge cuando esos actores se dan cuenta que deben colaborar para que el cambio suceda. En este sentido, las estrategias para la recolección de comentarios y la materialización de la participación son variadas, entre ellas se encuentran: reuniones de preparación y planificación; reuniones individuales o en grupos pequeños con personas clave cuyo apoyo e influencia son críticos; reuniones de un grupo directivo o asesor establecido para ayudar a guiar y apoyar el proceso general; talleres que involucran varias combinaciones de partes interesadas relevantes; talleres de partes interesadas únicas que permiten que un solo grupo o sector se prepare; visitas de campo y viajes de estudio; seminarios o conferencias que involucran a un público más amplio y eventos de medios (Brouwer et al., 2016, p. 24).

Sobre el particular, la estrategia canadiense utilizó cinco de las estrategias mencionadas, tales como: i) grupos de trabajo enfocado en políticas públicas y justicia de ia; ii) reuniones con empresarios; iii) taller sobre la directiva; iv) apertura a comentarios del público más amplio; y v) seminarios y eventos. En contraste, la estrategia colombiana utilizó dos: i) apertura a comentarios del público más amplio y ii) grupos pequeños de trabajo con relatorías. Lo anterior, no significa que todas las iniciativas que involucren diversas partes deban realizar todos los métodos, sino que se realicen de forma concreta con un objetivo claro y una retroalimentación. Una de las principales críticas al desarrollo de estos mecanismos en el proceso colombiano ha sido el despliegue de comentarios de participantes en un archivo Excel, el cual no define o prioriza los temas tratados, no establece las principales preocupaciones, ni tampoco tabula las recomendaciones. De esta forma, el compromiso de no dejar a nadie atrás significa que los mecanismos de participación deben ser abiertos e inclusivos, ofreciendo a todas las personas y grupos la oportunidad de participar. Sin embargo, la apertura no es suficiente para garantizar la inclusión. A menudo se necesitan esfuerzos adicionales para garantizar la presencia y la participación de las personas y los grupos que suelen quedarse atrás (Wayne-Nixon et al., 2019, p. 4).

Conclusiones y recomendaciones

Como resultado de esta investigación, el presente documento es parte de la discusión nacional sobre el diseño participativo real dentro de la estrategia de ia. En él se describe cómo el proceso de diseño se puede usar para mejorar la estrategia de ia en el país, a través de enfoques cooperativos.

Se logró evidenciar, a través de las estrategias de Canadá y Colombia, que la aplicación de la ia debe contar con el apoyo de una revisión multidisciplinar para dirigirla hacia el respeto de los derechos y la dignidad humana. Las estrategias de ia pueden incluir necesariamente marcos normativos apropiados y de múltiples partes interesadas. Los responsables políticos y los profesionales del desarrollo deben, entonces, reconocer la necesidad de un enfoque multipartito. Así, se logró esbozar que la naturaleza inclusiva y participativa de los procesos crea un mayor sentido de propiedad sobre sus resultados y, por consiguiente, refuerza su sostenibilidad.

Se argumentaron razones para incentivar la innovación tecnológica y regulatoria, protegiendo a su vez los derechos humanos y salvaguardando ‘el bien’ de la sociedad. Por ello, se recalcó que este proceso no se crea en pocos días y necesita de una estructuración seria y consistente, dependiendo del contexto de cada país. Lo anterior significa centrarse en las implicaciones reales de la ia y en el comportamiento real de los actores del poder, y no esperar lo mejor o dejar que los actores del poder establezcan las reglas a conveniencia propia. Se hace un llamado a la construcción conjunta de esta gobernanza de la ia, no con el fin de hacer un check the box o cumplimiento de metas internacionales, sino de hacer parte de un proceso desde el inicio hasta el final, que esté permeado por transparencia, diálogo y mesas de trabajo conjunto, entre las diversas partes interesadas, semejante al proceso de pensamiento de diseño.

Además, se buscó enfatizar en que, aunque se invite a participar a muchos de los grupos típicamente excluidos antes mencionados —como las organizaciones locales de la sociedad civil y las empresas más pequeñas, entre otros—, en la práctica pueden no tener suficiente tiempo, dinero o capacidad. Así, los esfuerzos del Gobierno deberían colaborar con los esfuerzos de esas otras partes excluidas para promover una estrategia de ia centrada y pensada en los agentes y usuarios de esta tecnología, con ayuda del pensamiento de diseño y sus diversos mecanismos de participación real y efectiva con miras a crear un proceso más democrático y legítimo.

Con todo lo anterior, la participación de las múltiples partes interesadas debe ser transparente, y la información sobre los procesos y planes de participación debe ser clara y ampliamente comunicada. Además, la información relacionada con los procesos de participación debe publicarse de manera oportuna. Esto significa que la documentación que informa sobre los procesos de participación se debe publicar con antelación y se debe proporcionar información a los participantes durante el seguimiento de los procesos de participación.

Un primer borrador sobre las directrices ética de la ia, en cualquier país, debe contar con un número de interrogantes o preguntas orientadoras previamente establecidas con los sectores de interés, para que los diversos actores interesados manifiesten libremente su opinión. De esta forma —a través de una metodología clara, que evalúe preguntas de carácter ético, legal y técnico— se pueden proponer mesas de discusión, temáticas relevantes y beneficios, entre otros. Restringir la opinión a través de una compilación doctrinal, como lo hace el documento presentado en Colombia, limita a los participantes y no deja ver la estrategia general del gobierno frente a esta tecnología.

Por lo anterior, si pensamos en las estrategias de ia, desde la óptica del pensamiento de diseño centrada en las múltiples partes interesadas, varias ideas surgen de forma orgánica. Esto significa establecer calendarios y disposiciones para la participación con plazos adecuados, utilizar enfoques variados e inclusivos, involucrar a las partes interesadas de todas las regiones y fuera de las grandes áreas metropolitanas, trabajar activamente para incluir a los grupos marginados y vulnerables y a sus representantes, y proporcionar información sobre cómo se han utilizado los aportes recibidos de las partes interesadas. Así, el uso del pensamiento de diseño para la planificación estratégica de la ia puede facilitar un compromiso consciente del capital humano, el desarrollo de una infraestructura de datos y una arquitectura informática eficientes, así como la creación de un programa proactivo de ética digital para prevenir algunas de las preocupaciones existentes relacionadas con la adopción de la ia a gran escala en todo el mundo.

Referencias

acnudh. & onu. (1975). Declaración sobre la utilización del progreso científico y tecnológico en interés de la paz y en beneficio de la humanidad. https://www.ohchr.org/SP/ProfessionalInterest/Pages/ScientificAndTechnologicalProgress.aspx

Archer, L. B. (1965). Systematic method for designers. design

Arnold, J. E. (1959). Creative Engineering: Promoting Innovation by Thinking Differently [Introducción y ensayo biográfico de W. J. Clancey]. University of Texas Press.

Balakrishnan, T., Chui, M., Hall, B., & Henke, N. (2020). The state of AI in 2020 [Global survey]. McKinsey & Company. https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/global-survey-the-state-of-ai-in-2020

Bason, C., & Austin, R. D. (2021). Design in the public sector: Toward a human centred model of public governance. Public Management Review,24(11), 1727-1757. https://doi.org/10.1080/14719037.2021.1919186

Bathaee, Y. (2020). Artificial Intelligence Opinion Liability. Berkeley Technology Law Journal, 113. https://doi.org/10.15779/Z38P55DH32

Bault, N., & Rusconi, E. (2020). The Art of Influencing Consumer Choices: A Reflection on Recent Advances in Decision Neuroscience. Frontiers in Psychology, 10, 3009. https://doi.org/10.3389/FPSYG.2019.03009

Baum, S. D. (2020). Social choice ethics in artificial intelligence. ai and Society, 35(1), 165-176. https://doi.org/10.1007/s00146-017-0760-1

Bhargava, V. R., & Velásquez, M. (2020). Ethics of the Attention Economy: The Problem of Social Media Addiction. Business Ethics Ǫuarterly, 31(3), 321-359. https://doi.org/10.1017/BEǪ.2020.32

Big Data Value Association. (2018). Data-driven artificial intelligence for European Economic Competitiveness and societal progress. bdva Position Statement November 2018 [ai Position Paper]. https://bdva.eu/sites/default/files/AI-Position-Statement-BD-VA-Final-12112018.pdf

Birhane, A., Isaac, W., Prabhakaran, V., Díaz, M., Elish, M. C., Gabriel, I., & Mohamed, S. (2022). Power to the People? Opportunities and Challenges for Participatory AI. ACM International Conference Proceeding Series, 1-17. https://doi.org/10.1145/3551624.3555290

bkc Scholars Helped Guide Colombia’s ai Policy Implementation as Part of the Country’s ‘ai Expert Mission’. Ethics and Governance of ai. (2022, 8 de agosto). Berkman Klein Center. https://cyber.harvard.edu/story/2022-08/bkc-scholars-helped-guide-colombias-ai-policy-implementation-part-countrys-ai-expert

Bozdag, E. (2013). Bias in algorithmic filtering and personalization. Ethics and Information Technology, 15(3), 209-227. https://link.springer.com/article/10.1007/s10676-013-9321-6

Bozdag, E., & van den Hoven, J. (2015). Breaking the filter bubble: democracy and design. Ethics and Information Technology, 17(4), 249-265. https://doi.org/10.1007/S10676-015-9380-Y

Brandusescu, A., Cutean, A., Dawson, P., Davidson, R., Matthews, M., & O’ neill, K. (2021). Maximizing Strengths and Spearheading Opportunity: Towards an Industrial Strategy for Canadian Artificial Intelligence. Information and Communications Technology Council-ictc.

Brouwer, H., Woodhill, J., Hemmati, M., Verhoosel, K., & van Vugt, S. (2016). La guía de las MSP: Cómo diseñar y facilitar asociaciones de múltiples partes interesadas. Practical Action Publishing. https://doi.org/10.3362/9781780447520

Bryson, J. M., Patton, M. Ǫ., & Bowman, R. A. (2011). Working with evaluation stakeholders: A rationale, step-wise approach and toolkit. Evaluation and Program Planning, 34(1), 1-12. https://doi.org/10.1016/J.EVALPROGPLA.2010.07.001

Cavoukian, A. (2012, winter). Privacy by design. IEEE Technology and Society Magazine, 31(4), 18-19. https://doi.org/10.1109/MTS.2012.2225459

cifar. (2020). AICan 2020. CIFAR Pan-Canadian ai Strategy Impact Report. https://cifar.ca/wp-content/uploads/2020/11/AICan-2020-CIFAR-Pan-Canadian-AI-Strate-gy-Impact-Report.pdf

Coeckelbergh, M. (2020). Artificial Intelligence, Responsibility Attribution, and a Relational Justification of Explainability. Science and Engineering Ethics, 26, 20512068. https://doi.org/10.1007/s11948-019-00146-8

Cottam, Hilary; Leadbeater, C. (2004). Red Paper 01 health: Co-creating services. https://www.designcouncil.org.uk/fileadmin/uploads/dc/Documents/red-paper-health.pdf

Decker, M., & Ladikas, M. (2004). Technology Assessment in Europe; between Method and Impact — The TAMI Project. En M. Decker, M. Ladikas, S. Stephan, & F. Wütscher (Eds.), Bridges between Science, Society and Policy (pp. 1-10). Springer. https://doi.org/10.1007/978-3-662-06171-8_1

Departamento Nacional de Planeación. (2022). Propuesta de Caracterización del ecosistema de datos en Colombia [Documento para comentarios]. https://colaboracion.dnp.gov.co/CDT/DesarrolloDigital/Publicaciones/EcosistemadeDatos_Version_Comentarios.pdf

Directive on Automated Decision-Making. (2021). Government of Canada. https://www.tbs-sct.canada.ca/pol/doc-eng.aspx?id=32592

Ehn, P. (2008, 1-4 de octubre). Participation in Design Things. Tenth Conference on Participatory Design, Bloomington, Indiana. https://doi.org/10.1145/1795234.1795248

Eubanks, V. (2018). Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor. St. Martin’s Press. https://dl.acm.org/doi/book/10.5555/3208509

Fenwick, M., Kaal, W. A., & Vermeulen, E. P. M. (2017). Regulation Tomorrow: What Happens When Technology Is Faster than the Law? American University Business Law Review, 6(3), 561-594. https://digitalcommons.wcl.american.edu/cgi/viewcontent.cgi?article=1028&context=aublr

Fjeld, J., Achten, N., Hilligoss, H., Nagy, A., & Srikumar, M. (2020). Principled Artificial Intelligence: Mapping Consensus in Ethical and Rights-Based Approaches to Principles for ai. Berkman Klein Center Research Publication, (2020-1). https://doi.org/10.2139/SSRN.3518482

Flórez Rojas, M. L. (2022). El determinismo algorítmico en Colombia: riesgos para la protección del usuario. En M. L. Flórez ROjas (Coord.), Derecho de las tecnologías y las tecnologías para el derecho (pp. 161-209). Uniandes. https://doi.org/10.15425/2017.571

Friedman, B., & Nissenbaum, H. (1996). Bias in computer systems. acm Transactions on Information Systems (tois), 14(3), 330-347. https://doi.org/10.1145/230538.230561

Gobierno de Canadá. (2021). Responsible use of artificial intelligence ( ai ). https://www.canada.ca/en/government/system/digital-government/digital-govern-ment-innovations/responsible-use-ai.html#toc1

Gobierno de Canadá. (2022, 22 de junio). Government of Canada launches second phase of the Pan-Canadian Artificial Intelligence Strategy. News ised. https://www.canada.ca/en/innovation-science-economic-development/news/2022/06/government-of-canada-launches-second-phase-of-the-pan-canadian-artifi-cial-intelligence-strategy.html

Guío Español, A. (2021a). Consejo Internacional de Inteligencia Artificial para Colombia. Gobierno de Colombia; caf. https://dapre.presidencia.gov.co/TD/CONSEJO-INTERNACIONAL-INTELIGENCIA-ARTIFICIAL-COLOMBIA.pdf

Guío Español, A. (2021b, 14 de septiembre). Por qué Colombia se ha posicionado como líder regional en inteligencia artificial. caf. https://www.caf.com/es/conocimiento/visiones/2021/09/por-que-colombia-se-ha-posicionado-como-lider-regional-en-inteligencia-artificial/

Guío Español, A., Tamayo Uribe, E., Gómez Ayerbe, P., & Mujica, M. P. (2021). Marco ético para la Inteligencia Artificial en Colombia. Gobierno de Colombia. https://inteligenciaartificial.gov.co/static/img/MARCO_ETICO.pdf.

Gunningham, N., & Sinclair, D. (2017). Smart regulation. En P. Drahos (Ed.), Regulatory Theory: Foundations and applications (Cap. 8, pp. 133-148). ANU Press. https://www.jstor.org/stable/j.ctt1q1crtm.16?seq=1

Hernández, L., Canales, M. P., & De Souza, M. (2022). Inteligencia Artificial y participación en América Latina: Las estrategias nacionales de ia . Derechos Digitales. https://www.derechosdigitales.org/publicaciones/inteligencia-artificial-y-participacion-en-america-latina-las-estrategias-nacionales-de-ia/

Holmlid, S. (2009, 24-26 de noviembre). Participative, co-operative, emancipatory: From participatory design to service design. First ordic Conference on Service Design and Service Innovation, Oslo, noruega. https://www.researchgate.net/publication/228629923_Participative_co-operative_emancipatory_From_participatory_design_to_service_design

Howard,W.(2009).Theory basedimpactevaluation:principlesandpractice.JournalofDevelopment Effectiveness, 1(3), 271-284. https://doi.org/10.1080/19439340903114628

Johansson-Sköldberg, U., Woodilla, J., & Çetinkaya, M. (2013). Design Thinking: Past, Present and Possible Futures. Creativity and Innovation Management, 22(2), 121146. https://doi.org/10.1111/CAIM.12023

Kim, M., & Wolf, C. (2014). The impact assessment we want. Impact Assessment and Project Appraisal, 32(1), 19-20. https://doi.org/10.1080/14615517.2013.872847

Madiega, T. A. (2021). Artificial Intelligence Act. Think Tank European Parliament. https://www.europarl.europa.eu/thinktank/en/document/EPRS_BRI(2021)698792

Mayer, S., Schwemmle, M., Nicolai, C., & Weinberg, U. (2021). Assessing the Impact of Design Thinking in Organizations: Foundations of a Framework. En C. Meinel, & L. Leifer (Eds.), Design Thinking Research (pp. 255-272). Springer. https://doi.org/10.1007/978-3-030-76324-4_14

Mintrom, M., & Luetjens, J. (2016). Design Thinking in Policymaking Processes: Opportunities and Challenges. Australian Journal of Public Administration, 75(3), 391-402. https://doi.org/10.1111/1467-8500.12211

Mujica Ramírez, M. P., & Guio Español, A. (2021). Misión de Expertos en ia de Colombia: Diagnóstico, miembros y objetivos. Gobierno de Colombia; bid. https://inteligenciaartificial.gov.co/static/img/201021_Mision_de_Expertos_en_IA_de_Colombia.pdf

Munn, L. (2022). The uselessness of AI ethics. ai and Ethics 2022, 1-9. https://doi.org/10.1007/S43681-022-00209-W

Nathan, G. (2018). Design-thinking approach to ethical (responsible) technological innovation. En R. Gianni, J. Pearson, & B. Reber (Eds.), Responsible Research and Innovation (pp. 286-300). Routledge. https://doi.org/10.4324/9781315457291-14

oecd. (2000). Reducing the risk of policy failure: challenges for regulatory compliance. https://www.oecd.org/regreform/regulatory-policy/1910833.pdf

oecd. (2012). Alternatives to traditional regulation [oecd Report]. http://www.oecd.org/gov/regulatory-policy/42245468.pdf

oecd. (2019). Artificial Intelligence in Society. https://doi.org/10.1787/eedfee77-en

oecd. (2020). oecd.ai Policy Observatory. A platform to share and shape ai policies [Folleto]. https://oecd.ai/en/assets/files/about-the-oecd-ai-policy-observatory.pdf

oecd. (2022). Recommendation of the Council on Artificial Intelligence. https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449

Payne, S. L., & Calton, J. M. (2017). Towards a Managerial Practice of Stakeholder Engagement : Developing multi-stakeholder learning dialogues. En J. Andriof, S. Waddock, B. Husted, & S. Sutherland Rahman (Eds.), Unfolding Stakeholder Thinking (pp. 121-135). Routledge.

Plattner, H., Meinel, C., & Weinberg, U. (2009). Design-Thinking; Innovation Lernen; Ideenwelten Öffnen. mi-Wirtschaftsbuch; Finanzbuch Verl.

Pope, J., Bond, A., Morrison-Saunders, A., & Retief, F. (2013). Advancing the theory and practice of impact assessment: Setting the research agenda. Environmental Impact Assessment Review, 41, 1-9. https://doi.org/10.1016/J.EIAR.2013.01.008

Renda, A. (2019). Artificial Intelligence: Ethics, governance and policy challenges [CEPS Paperback Series]. CEPS Centre for European Policy Studies. https://www.ceps.eu/download/publication/?id=10869&pdf=AI_TFR.pdf

Renda, A., Schrefler, L., Luchetta, G., & Zavatta, R. (2013). Assessing the costs and benefits of Regulation. Centre for European Policy Studies-ceps.

Sadar, P., Carnet, P., & Heinz, S. (2022). An independent review of children’s social care: Appreciating the wider family context. Policy Lab. https://openpolicy.blog.gov.uk/2022/06/09/an-independent-review-of-childrens-social-care-appreciating-the-wider-family-context/

Sara, B. (2020). The future of impact assessment: problems, solutions and recommendations. Impact Assessment and Project Appraisal, 38(2), 104-108. https://doi.org/10.1080/14615517.2019.1672443

Schallmo, D., Williams, C. A., & Lang, K. (2018, 17-20 de junio). An Integrated Design Thinking Approach : Literature Review, Basic Principles and Roadmap for Design Thinking. XXIX ISPIM Innovation Conference “Innovation, The Name of The Game, Stockholm, Sweden.

Schwoerer, K., Keppeler, F., Mussagulova, A., & Puello, S. (2022). co-design-ing a more context-based, pluralistic, and participatory future for public administration. Public Administration, 100(1), 72-97. https://doi.org/10.1111/PADM.12828

Therivel, R. (2020). Impact assessment: from whale to shark. Impact Assessment and Project Appraisal, 38(2), 118-121. https://doi.org/10.1080/14615517.2019.1676070

Thienen, J. P. A. von, Clancey, W. J., Corazza, G. E., & Meinel, C. (2018). Theoretical Foundations of Design Thinking. En H. Plattner, C. Meinel, & L. Leifer (Eds.), Design Thinking Research (pp. 13-40). Springer. https://doi.org/10.1007/978-3-319-60967-6_2

Trischler, J., Dietrich, T., & Rundle-Thiele, S. (2019). Co-design: from expertto user-driven ideas in public service design. Public Managment Review, 21(11), 15951619. https://doi.org/10.1080/14719037.2019.1619810

Tuchman, B. W. (1985). The March of Folly: From Troy to Vietnam. Random House Trade Paperbacks.

Umoja Noble, S. (2018). Algorithms of Oppression: How Search Engines Reinforce Racism. NYU Press. https://nyupress.org/9781479837243/algorithms-of-oppression/

United Nations. (2006). Multi-Stakeholder Engagement Processes: A undp capacity development resource [Conference Paper #7. Working Draft, ovember 06]. https://www.undp.org/sites/g/files/zskgke326/files/publications/Engagement-Processes-cp7.pdf

United Nations. (2021). Resource Guide on Artificial Intelligence (ai) Strategies. https://sdgs.un.org/sites/default/files/2021-06/Resource%20Guide%20on%20AI%20 Strategies_June%202021.pdf

Valentine, L., Kroll, T., Bruce, F., Lim, C., & Mountain, R. (2017). Design Thinking for Social Innovation in Health Care. The Design Journal, 20(6), 755-774. https://doi.org/10.1080/14606925.2017.1372926

Walden, I., & Christou, T. A. (2018). Legal and Regulatory Implications of Disruptive Technologies in Emerging Market Economies [A Report for the World Bank]. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.3230674

Warner, J. (2016). The Beauty of the Beast: Multi-Stakeholder Participation for Integrated Catchment Management. En J. Warner (Ed.), Multi-Stakeholder Platforms for Integrated Water Management (pp. 17-36). Routledge.

Wayne-Nixon, L., Wragg-Morris, Tanya, M., Anjali, M., & Kindornay, S. (2019). Effective multi-stakeholder engagement to realize the 2030 Agenda in Canada. https://www.bccic.ca/wp-content/uploads/2019/06/Effective_Engagement_International.pdf

wipo. (2019). WIPO Technology Trends 2019 – Artificial Intelligence. https://www.wipo.int/publications/en/details.jsp?id=4396

World Economic Forum. (2016). Values and the Fourth Industrial Revolution: Connecting the Dots Between Value, Values, Profit and Purpose. https://www.weforum.org/whitepapers/values-and-the-fourth-industrial-revolution-connecting-the-dots-between-value-values-profit-and-purpose/

Young, M. M., Bullock, J. B., & Lecy, J. D. (2019). Artificial Discretion as a Tool of Governance: A Framework for Understanding the Impact of Artificial Intelligence on Public Administration. Perspectives on Public Management and Governance, 2(4), 301-313. https://doi.org/10.1093/PPMGOV/GVZ014