Democracia y el giro algorítmico

¡Tu voto, su tecnología! Cómo los macrodatos y las grandes corporaciones de tecnología están haciendo y deshaciendo elecciones

Desde los estudios más simplistas de la primera época de las tecnologías de medios masivos sobre el papel de la radio, las películas y los periódicos en tiempos de guerra1111. Harold D. Lasswell, Propaganda Technique in the World War (Gloucester: Peter Smith, 1927). hasta los trabajos más recientes que han examinado el papel de los teléfonos móviles y los macrodatos1212. Los macrodatos son conjuntos de datos extremadamente grandes que pueden ser analizados por computadoras para mostrar patrones, tendencias y asociaciones, especialmente en relación al comportamiento e interacciones humanos. en las elecciones,1313. Robin Jeffrey y Assa Doron, “Mobile-izing: Democracy, Organization and India’s First ‘Mass Mobile Phone’ Elections,” The Journal of Asian Studies 71, no. 1 (2012): 63-80; Sasha Issenberg, “How President Obama’s Campaign Used Big Data to Rally Individual Voters,” Technology Review 116, no. 1 (2012): 38-49, visitado el 14 de junio de 2018, https://www.technologyreview.com/s/508836/how-obama-used-big-data-to-rally-voters-part-1/. la capacidad de la tecnología de difundir mensajes clave y propaganda con intenciones particulares ha sido reconocida hace mucho tiempo.

Sin embargo, las herramientas y tácticas de la manipulación de la esfera pública que estamos viendo hoy en día no tienen precedentes. El uso poco ético de los macrodatos y del aprendizaje automático1414. El uso de técnicas estadísticas que permiten a las computadoras mejorar iterativamente una cierta tarea por medio de entradas de datos. para manipular la esfera pública de modos perjudiciales constituye un nuevo punto de partida. Por ejemplo, debido al intenso nivel de vigilancia de los votantes ofrecido por las herramientas digitales, la inteligencia artificial (IA) permite que la influencia política se desplace de las campañas públicas al sentimiento privado,1515. Vyacheslav Polonski, “The Good, the Bad and the Ugly Uses of Machine Learning in Election Campaigns.” Centre for Public Impact, 30 de agosto de 2017, visitado el 14 de junio de 2018, https://www.centreforpublicimpact.org/good-bad-ugly-uses-machine-learning-election-campaigns/. un cambio que resitúa la política electoral, pasando de ser un espectáculo abierto a un guión encubierto.

Así, en la medida en que ha crecido internet, también lo ha hecho la desinformación. Se afirma a menudo que vivimos en una época de “post verdad”. Con esto se quiere decir que cuando crece la viralidad, velocidad y alcance de la información digital, emerge una multiplicidad abrumadora de narrativas que desplaza a unas pocas grandes narrativas dominantes. El hecho de que podamos escoger con qué comunidades queremos estar conectados quiere decir que la sabiduría recibida de las sociedades; el conocimiento y normas compartidas entre las comunidades, está deshaciéndose.1616. Michael Barthel, Amy Mitchell, and Jesse Holcomb, “Many Americans Believe Fake News is Sowing Confusion.” Pew Research Center, 15 de diciembre de 2016, visitado el 14 de junio de 2018, http://www.journalism.org/2016/12/15/many-americans-believe-fake-news-is-sowing-confusion/. En este flujo, el sentimiento social y político de los individuos y comunidades se vuelve vulnerable a la manipulación y al entremetimiento.

En marzo de 2018, mientras este artículo estaba siendo escrito, el periódico The Guardian publicó las noticias explosivas de cómo Cambridge Analytica, una empresa de análisis de datos anteriormente desconocida, había, mediante la recopilación de datos de usuarios de Facebook, orquestado victorias para la campaña a favor del Brexit en el Reino Unidos y la campaña de Donald Trump en las elecciones presidenciales de Estados Unidos.1717. “The Cambridge Analytica Files,” The Guardian, 2018, visitado el 14 de junio de 2018, https://www.theguardian.com/news/series/cambridge-analytica-files. Esta revelación no muestra únicamente la enorme escala de manipulación de los usuarios que el paradigma tecnológico posibilita, sino también las consecuencias reales de la elaboración de perfiles de comportamiento y psicológicos y de las acciones dirigidas a influenciar a los votantes en los resultados electorales. Las tácticas sin escrúpulos de la empresa incluyeron “scraping” (una forma de recopilación de datos automática), la explotación de datos de usuarios de Facebook sin consentimiento informado y el ofrecimiento de incentivos económicos por participar en cuestionarios, que eran astutas investigaciones psicológicas disfrazadas.1818. Ibid. Además, estos datos fueron utilizados para enviar mensajes polarizados y divulgar noticias falsas.

Twitter ocupó el centro del escenario en el teatro político de México de 2012. Como los medios convencionales no estaban informando de la violencia causada por las drogas debido a las amenazas de los carteles, los ciudadanos mejicanos se habían vuelto dependientes de Twitter para obtener noticias y últimas horas. Los realizadores de las campañas de los partidos en las elecciones generales aprovecharon esto, con envíos masivos por la red, realizados por miles de bots1919. En referencia aquí a cuentas automatizadas de Twitter que recogen y amplifican mensajes e inundan el espacio de internet. que trabajaban día y noche para promocionar determinados temas nuevos y hacer que la lista de “trending topics” estuviese alineada con los intereses de los realizadores de campañas, inundando el espacio con inútiles “flame wars”2020. Un extenso intercambio de mensajes furiosos o abusivos entre usuarios de un foro en línea. que no dejaron margen para una participación firme y comprometida.2121. Mike Orcutt, “Twitter Mischief Plagues Mexico’s Election.” MIT Technology Review, 21 de junio de 2012, visitado el 14 de junio de 2018, http://www.technologyreview.com/news/428286/twittermischief-plagues-mexicos-election/. Lo que vemos es que las nuevas estructuras tecnológicas construidas sobre las plataformas de los medios ampliamente utilizadas y abusadas en la política cotidiana tienen un impacto directo en la forma que adoptan los procesos políticos y en los resultados.

Las elecciones presidenciales francesas de 2017 mostraron hasta que punto llega a estar extendido el uso de bots. En mayo de 2017, el Oxford Internet Institute llevó a cabo un análisis del hashtag #MacronLeaks, que involucró un volcado de datos de los correos electrónicos del entonces candidato a presidente. Descubrió que el 50%del contenido de Twitter consistente en documentos filtrados e informes falsificados fue generado por solo el 3%del número total de cuentas de Twitter. Estas cuentas bots estaban lanzando 1,500 tweets distintos por hora, obteniendo en promedio 9,500 retweets. El estudio concluyó que más de 22.8 millones de usuarios de Twitter estaban siendo expuestos a esta información cada hora durante el día de elecciones en Francia.2222. Vyacheslav Polonski, “#MacronLeaks Changed Political Campaigning. Why Macron Succeeded Where Clinton Failed.” World Economic Forum, 12 de mayo de 2017, visitado el 14 de junio de 2018, https://www.weforum.org/agenda/2017/05/macronleaks-have-changed-political-campaigning-why-macron-succeeded-and-clinton-failed; Emilio Ferrara, “Disinformation and Social Bot Operations in the Run Up to the 2017 French Presidential Election,” First Monday 22, no. 8 (2017).

Prácticas más antiguas como el “gerrymandering”; la manipulación de las fronteras de una circunscripción electoral para beneficiar a un partido determinado,2323. Nicholas O. Stephanopoulos y Eric M. McGee, “Partisan Gerrymandering and the Efficiency Gap,” The University of Chicago Law Review 82, no. 2 (2015): 831-900. han encontrado un nuevo impulso en el poder predictivo de los macrodatos. Se ha observado que el “gerrymandering” contribuye a una mayor polarización política,2424. Ben Wofford, “The Great Gerrymandering Debate.” Brown Political Review, 15 de julio de 2014, visitado el 14 de junio de 2018, http://www.brownpoliticalreview.org/2014/07/the-great-gerrymandering-debate/. con impactos desproporcionados sobre los pobres. Los líderes escogidos en circunscripciones tan polarizadas tienden a evitar normalmente abordar temas de desigualdad económica.2525. McCarty, Nolan, Keith T. Poole, and Howard Rosenthal. "Does gerrymandering cause polarization?." American Journal of Political Science 53, no. 3 (2009): 666-680. Lo que puede inferirse de esta cuestión es que, aunque el electoralismo basado en datos puede aportar potencialmente nueva eficiencia y eficacia a la organización y las campañas, el hecho de que las plataformas tecnológicas que definen la esfera pública estén controladas hoy en día por la élite no es positivo para el sistema de la democracia electoral tomado como un todo. En teoría, la información digital extraída de los datos reduce una intensa labor que requiere muchos recursos humanos, permite a los organizadores de base optimizar la petición de voto y puede mitigar las distorsiones del gran capital en las elecciones al permitir que los candidatos lleguen a sus electores a través de los medios sociales sin, literalmente, coste alguno. Sin embargo, si Cambridge Analytica o el episodio de MacronLeaks nos muestra alguna cosa, es que nos estamos dirigiendo hacia un futuro bien distinto, uno en el que el comportamiento de los votantes está siendo manipulado para alcanzar determinados resultados que no reflejan un mandato democrático ni una elección informada.

Estos acontecimientos representan una crisis en la esfera pública. Siguiendo a Dewey, los “públicos” en una democracia son creados debido a las “consecuencias indirectas, extensivas, persistentes y serias de las conductas conjuntas e interrelacionadas”.2626. Tauel Harper, “The Big Data Public and its Problems: Big Data and the Structural Transformation of the Public Sphere,” New Media & Society 19, no. 9 (2016): 1424-1439. Manipulados por el capital y la tecnología, la formación misma de los públicos está en peligro, con las interacciones de los ciudadanos insertadas en cajas de resonancia de información que refuerzan y amplifican prejuicios profundos, produciendo una banalidad que impide la reflexión y crea riesgos específicos, especialmente para las poblaciones ya marginadas.

Lo que los algoritmos no ven

Mientras que las elecciones son focos de atención, dignos de cobertura periodística por su propia naturaleza, las prácticas cotidianas de la democracia, que son rutinarias y en gran medida sin interés, pocas veces reciben el mismo tipo de atención de los medios. Sin embargo, a menudo son las estructuras y prácticas de las interacciones cotidianas entre el Estado y los ciudadanos lo que resulta fundamental para avanzar el tipo de cambio institucional que puede contribuir al final a crear una democracia transformativa.

Sin duda, hay ciertas ventajas en una gobernanza intermediada digitalmente, como más fácil acceso para los ciudadanos a la información y a sus derechos, y una mayor transparencia y receptividad de las instituciones estatales. Los mecanismos de gobierno electrónico también pueden ayudar a alcanzar objetivos de la gobernanza participativa. El crecimiento de una red en línea de municipalidades en España es un ejemplo magnífico que demuestra esto.2727. Gurumurthy et al., “Voice or Chatter?”, 2017. Sin embargo, cuando la interacción estado-ciudadano se va a internet hacia modalidades digitales y las arquitecturas de gobernanza se digitalizan, aparecen desafíos administrativos y legislativos con importantes implicaciones para los derechos de los ciudadanos.2828. Ibid.

Hoy en día, se están utilizando por todo el mundo tecnologías de cálculo y regulación para decretar y regular a sus sujetos; ciudadanos, inmigrantes, consumidores, estudiantes, colegas y muchos más.2929. Lucas D. Introna, “Algorithms, Governance, and Governmentality: On Governing Academic Writing,” Science, Technology, & Human Values 41, no. 1 (2016): 17-49. Los algoritmos definen la información sobre la que se actúa, participan en la “clasificación social”3030. David Lyon, “Surveillance in Cyberspace: The Internet, Personal data, and Social Control,” Queen’s Quarterly 109, no. 3 (2002): 345-356. y crean repertorios autónomos de acción y reacción. “Los algoritmos ‘gobiernan’ porque tienen el poder de estructurar posibilidades,” señala Ananny.3131. Mike Ananny, “Toward An Ethics of Algorithms: Convening, Observation, Probability, and Timeliness,” Science Technology, & Human Values 41, no. 1 (2016): 97. Napoli defiende incluso que los algoritmos están ocupando el espacio de las instituciones “debido a su poder de estructurar el comportamiento, influenciar preferencias, guiar el consumo, producir contenido, indicar la calidad e influenciar la mercantilización.”3232. Philip M. Napoli, “Automated Media: An Institutional Theory Perspective on Algorithmic Media Production and Consumption,” Communication Theory 24, no. 3 (2014): 340-360.

El Estado mismo puede verse como un ensamblaje algorítmico, una red compleja de agentes técnicos, tecnologías autónomas y capas de datos uniéndose para prevalecer sobre la ostensible falibilidad e ineficacia de los intentos humanos. Los datos en esta ecuación no son una mera fuente de conocimiento, se convierten en el conocimiento mismo.3333. Rob Kitchin, “Big Data, New Epistemologies and Paradigm Shifts,” Big Data & Society 1, no. 1 (2014): 1-12.

Consideremos, por ejemplo, a Singapur. Desarrollado inicialmente para detectar brotes de gripe aviar, el sistema Evaluación de Riesgos y Análisis Prospectivo (RAHS, por su sigla en inglés) en Singapur; que recoge datos de un conjunto exhaustivo de bases de datos privadas y públicas, se ha convertido en la principal herramienta para la toma de decisiones del Estado, desde la política de inmigración, la previsión económica y el plan de estudios escolar hasta evaluar el “estado de ánimo” de la nación utilizando Facebook.3434. Shane Harris, “The Social Laboratory.” Foreign Policy, 29 de julio de 2014, visitado el 14 de junio de 2018, http://foreignpolicy.com/2014/07/29/the-social-laboratory/. Este sistema altamente centralizado, integral y de supervisión no tiene un equivalente para contrarrestarlo exhaustivamente en los marcos de privacidad ciudadana.3535. “The Right to Privacy in Singapore,” Privacy International, junio de 2015, visitado el 15 de junio de 2018, https://privacyinternational.org/sites/default/files/2017-12/Singapore_UPR_PI_submission_FINAL.pdf. El gigante de los medios sociales chino, Baidu, se ha asociado con los militares en el proyecto China Brain, para crear un sistema de crédito y posicionamiento social para los ciudadanos basado en su participación en los medios sociales,3636. Dirk Helbing et al., “Will Democracy Survive Big Data and Artificial Intelligence.” Scientific American, February 25, 2017, accessed June 14, 2018, https://www.scientificamerican.com/article/will-democracy-survive-big-data-and-artificial-intelligence/. lo cual quiere decir que la actividad en los medios sociales de los ciudadanos podrá ser supervisada y vigilada con la aprobación del Estado y tendrá un impacto directo sobre sus libertades.

En particular, las decisiones sobre bienestar social están siendo entregadas cada vez más a procedimientos de decisiones basadas en datos en India, Australia y EE.UU., creando exclusiones a gran escala con solo apretar un botón, con consecuencias punitivas para los pobres y marginados.3737. Gurumurthy et al., “Voice or Chatter?”, 2017; Tal Zarsky, “The Trouble With Algorithmic Decisions: An Analytic Road Map to Examine Efficiency and Fairness in Automated and Opaque Decision Making,” Science, Technology, & Human Values 41, no. 1 (2016): 118-132; Virginia Eubanks, Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor (New York: St.Martin’s Press, 2018). Como señala Ananny, los algoritmos “están insertados dentro de las estructuras sociotécnicas; están conformados por grupos especializados, integrados en normas, y más visiblemente cuando fallan.”3838. Ananny, Mike. "Toward an ethics of algorithms: Convening, observation, probability, and timeliness." Science, Technology, & Human Values 41, no. 1 (2016): 93-117

Los regímenes de datos mundiales, ya sean bases de datos controladas por el Estado, como la RAHS, o privadamente por parte de las corporaciones de las plataformas, son lo último en una serie de sistemas que los ciudadanos no votaron, pero que acaban moldeando políticas importantes que afectan sus vidas. Las asociaciones de datos mundiales han visto por tanto la infiltración a gran escala de capitalistas de datos en sistemas hasta entonces públicos. Como resultado, la infraestructura pública se ve reconfigurada hacia enclaves de datos de propiedad privada. Esto plantea serias preocupaciones por el bien común y la rendición de cuentas ante los ciudadanos.3939. Laura Mann, “Left to Other Peoples’ Devices? A Political Economy Perspective on the Big Data Revolution in Development,” Development and Change 49, no. 1 (2017): 3-36. Sectores fundamentales como la educación se han metamorfoseado en sitios encubiertos de extracción de datos por medio de programas. Algunos ejemplos incluyen el Google Apps Para Educación (GAFE, por su sigla en inglés)4040. Maria Lindh y Jan Nolin, “Information We Collect: Surveillance and Privacy in the Implementation of Google Apps for Education,” European Educational Research Journal 15, no. 6 (2016): 644-663. y la Curva de Aprendizaje de Pearson para modelos y análisis predictivos a gran escala,4141. Ben Williamson, “Digital Education Governance: Data Visualization, Predictive Analytics, and ‘Real-time’ Policy Instruments,” Journal of Education Policy 31, no. 2 (2016): 123-141. representando ambos nuevos desafíos éticos a las prácticas institucionales. Este cambio también es visible en el cuidado a la salud, con ambiciosos proyectos de “medicina inteligente” como el Watson de IBM.4242. David H. Freedman, “A Reality Check for IBM’s AI Ambitions.” MIT Technology Review, 27 de junio de 2017, visitado el 14 de junio de 2018, https://www.technologyreview.com/s/607965/a-reality-check-for-ibms-ai-ambitions/.

Cuando las tomas de decisiones facilitadas por datos se normalizan en los servicios públicos y sistemas de gobernanza, promueven una centralización de la autoridad y el poder. Los hechos son movilizados selectivamente para presentar la intención política como objetividad técnica de gestión, a la vez que la discreción y flexibilidad local para tratar con reclamaciones contextuales o ciudadanos marginados es eliminada.4343. Gurumurthy et al., “Voice or Chatter?”, 2017. En India, por ejemplo, la toma de decisiones basadas en máquinas sobre prestaciones recurriendo a conjuntos de datos fue incorrecta, dando lugar a que una gran cantidad de personas quedó excluida de los beneficios sociales. Aunque hay que esperar fallos en cualquier sistema, lo que hizo que este asunto fuese inadmisible fue que no se había tenido en cuenta ningún recurso para corregir fallos tecnológicos o técnicos, dejando a los ciudadanos, muchos de los cuales dependían críticamente de esos beneficios, privados de sus derechos en base a una decisión completamente automatizada, basada en datos erróneos. La gestión algorítmica del bienestar social, en referencia aquí a la práctica de utilizar soluciones tecnológicas y basadas en datos para tramitar y aprobar prestaciones, utiliza el mito de la santidad de los datos; postulándolos como un medio necesario e infalible para tapar fugas y salvar a la democracia de ciudadanos desmerecedores que abusan de los recursos públicos.4444. Deepti Bharthur, “Voice or Chatter Case Studies: Rajasthan Sampark, India.” IT for Change, 2017, visitado el 14 de junio de 2018, https://itforchange.net/mavc/blog/author/deepti/.

Las pruebas indican que, el giro algorítmico en la democracia, del cual hemos comentado las manifestaciones en las secciones precedentes, está insertado en el aumento de estructuras mundiales y locales de capitalismo autoritario, encaminadas a preservar el consenso neoliberal aunque estén en peligro los intereses locales.4545. Peter Bloom, Authoritarian Capitalism in the Age of Globalization (Cheltenham: Edward Elgar Publishing, 2016). Fragmentando insidiosamente las sociedades, privando sistemáticamente a los ciudadanos marginados y generando incesantemente distracciones políticas, los ensamblajes tecnológicos basados en datos y la inteligencia digital presentan desafíos inmensos y urgentes para el futuro de las sociedades humanas.

La legitimidad del giro algorítmico ha sido respaldada por una meta narrativa de la tecnomodernidad a la que todas las naciones tienen que adherirse. Consideradas como herramientas neutras del progreso económico y el progreso social, las tecnologías digitales han adquirido un aura de ingobernabilidad. Las grandes corporaciones de tecnología presentan con frecuencia herramientas de IA que aprenden y se adaptan rápidamente a una fuerza autónoma demasiado compleja como para ser entendida completamente. Sin embargo, en un mundo datificado que se despliega rápidamente, la integración de la inteligencia digital necesita estar enraizada en marcos de rendición de cuentas, donde la intención social guía la apropiación de la tecnología.

Vigilando a los vigilantes: la necesidad de nuevos marcos

A la luz de recientes acontecimientos y desarrollos surgidos del Internet Frankenstein de hoy en día, las corporaciones digitales han emitido declaraciones públicas sobre mejores estándares y normas industriales para la privacidad. Google ha dado a conocer un conjunto de principios de la IA que supuestamente tomarán “en cuenta una amplia gama de factores sociales y económicos, y procederemos en los casos en los que [Google] creamos que los beneficios probables generales exceden sustancialmente los riesgos y las desventajas previsibles.”4646. Sundar Pichai, “AI at Google: Our Principles.” Google, June 7, 2018, visitado el 14 de junio de 2018, https://www.blog.google/topics/ai/ai-principles/. Los principios, viniendo como lo están haciendo en este caso en respuesta a la presión pública y descontento de sus empleados, puede parecer un buen primer paso, pero si la empresa está, o no, cumpliendo su compromiso ético estará basado en la evaluación propia de Google.4747. Eric Newcomer, “What Google’s AI Principles Left Out.” Bloomberg, 8 de junio de 2018, visitado el 14 de junio de 2018, https://www.bloomberg.com/news/articles/2018-06-08/what-google-s-ai-principles-left-out. Las empresas de plataformas tales como Facebook4848. Mark Zuckerberg, 2018, “I want to share an update on the Cambridge Analytica situation…”. Facebook, 21 de marzo de 2018, visitado el 14 de junio de 2018, https://www.facebook.com/zuck/posts/10104712037900071. también se han comprometido a desarrollar normas éticas e IA y soluciones basadas en el diseño para contrarrestar los problemas mencionados anteriormente de la tecnología fuera de control. Organismos como el Instituto de Ingeniería Eléctrica y Electrónica (IEEE, por su sigla en inglés) están trabajando activamente en la elaboración de normas y guías para una IA ética.4949. See “The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems,” IEEE Standards Association, 2017, visitado el 14 de junio de 2018, https://standards.ieee.org/develop/indconn/ec/autonomous_systems.html. Si bien esta medida es bienvenida, el proyecto democrático en este momento de cambio necesita una renovación de las normas y culturas institucionales. La deliberación y debate de una ética adecuada para el paradigma tecnológico del siglo veintiuno necesita ir acompañada de pasos no negociables y prominentes para traducir las conclusiones éticas en normas, marcos y supervisión institucionales.

Por ejemplo, la esfera pública hoy en día está necesitando de inmediato ser fortificada contra las disrupciones del gran capital y corporaciones tecnológicas si queremos corregir el descarrilamiento de los procesos democráticos. Las políticas que pueden gobernar eficazmente la desinformación y la ingeniería social son necesarias para garantizar que se preserve el espíritu de deliberación y compromiso político. Algunos países como Malasia,5050. Nazura Ngah, “FAQs: What You Need to Know About the Anti-Fake News Bill 2018.” New Straits Times, 26 de marzo de 2018, visitado el 14 de junio de 2018, https://www.nst.com.my/news/nation/2018/03/349691/faqs-what-you-need-know-about-anti-fake-news-bill-2018. Irlanda5151. Kevin Doyle, “Five Years in Jail for Spreading ’Fake News’ Under FF Proposal.” The Independent, 4 de diciembre de 2017, visitado el 14 de junio de 2018, https://www.independent.ie/irish-news/politics/five-years-in-jail-for-spreading-fake-news-under-ff-proposal-36375745.html. y Alemania5252. “Germany Approves Plans to Fine Social Media Firms up to 50m,” The Guardian, 30 de junio de 2017, visitado el 14 de junio de 2018, https://www.theguardian.com/media/2017/jun/30/germany-approves-plans-to-fine-social-media-firms-up-to-50m. han respondido a esta crisis con legislación que puede contrarrestar la difusión de noticias falsas y uso indebido de las plataformas mediante medidas punitivas. Otros como los EE.UU. están impulsando una mayor transparencia para la publicidad política con propuestas legislativas como The Honest Ads Act (Ley de Anuncios Honestos).5353. See “S.1989 - Honest Ads Act,” Congress.gov, 2017, visitado el 14 de junio de 2018, https://www.congress.gov/bill/115th-congress/senate-bill/1989. La ola de regulación y legislación propuesta es una buena señal de que los países se han dado cuenta de lo que está ocurriendo. Sin embargo, la delgada línea donde la vigilancia de las plataformas se puede convertir fácilmente en censura institucional es una pendiente resbaladiza por la que hay que ir con mucho cuidado.

Hay por tanto, un lento pero creciente consenso de que se necesitan soluciones, de maneras que enriquezcan el capital social de los ciudadanos en vez de atentar contra sus derechos. El pensamiento crítico y consumo consciente de contenido significativo, en un paisaje tecnológico lleno de falsedades, sigue siendo un desafío importante que aboga por unos medios críticos, y una alfabetización digital en las escuela e instituciones en este contexto sería un paso positivo.5454. “Fighting Fake News – Workshop Report,” Information Society Project, 2018, visitado el 14 de junio de 2018, https://law.yale.edu/system/files/area/center/isp/documents/fighting_fake_news_-_workshop_report.pdf.

La formulación de políticas debe pasar de ser reactiva a resguardar activamente el futuro de la democracia contra las tendencias autocráticas y la desviación de uso de la datificación y la gobernanza algorítmica. Ante la ausencia de normas y políticas claramente articuladas, se corre el riesgo de que los ensamblajes algorítmicos, siendo hoy en día rápidamente integrados en los marcos de gobernanza, se conviertan en sustitutos de la política.

Los algoritmos tienen limitaciones a la hora de mostrar sutilidades, negociar compensaciones mutuas o ejercitar la discreción debida cuando es necesaria.5555. Barry Devlin, “Algorithms or Democracy – Your Choice.” Upside, 8 de septiembre de 2017, visitado el 14 de junio de 2018, https://tdwi.org/articles/2017/09/08/data-all-algorithms-or-democracy-your-choice.aspx. Esta falta de flexibilidad vacía completamente los derechos ciudadanos de una representación y participación significativa. Como componente importante de la democracia en la era digital, la inteligencia digital necesita ser imaginada, calibrada, probada y recalibrada recursivamente a través del prisma de los derechos ciudadanos dentro de los marcos institucionales de transparencia y rendición de cuentas.

Necesitamos por tanto unas sólidas y bien desarrolladas “garantías procesales tecnológicas”5656. Danielle Keats Citron, “Technological Due Process,” Wash. UL Rev. 85 no. 1249 (2007); Danielle Keats Citron and Frank A. Pasquale, “The Scored Society: Due Process for Automated Predictions,” Wash. L. Rev. 89, no. 1 (2014). que puedan garantizar justicia y preservar el ámbito de la elaboración participativa de normas. El derecho de examinar el interior de la caja negra algorítmica, exigir explicaciones y cuestionar la toma de decisiones automatizadas es fundamental para cumplir el derecho a ser escuchado en el contexto de la gobernanza digitalizada. El Derecho a la Explicación en el Reglamento General de Protección de Datos de la UE5757. GDPR, 2018, https://eur-lex.europa.eu/eli/reg/2016/679/oj. y la decisión de la ciudad de Nueva York de establecer un grupo de trabajo para examinar “los sistemas automatizados de toma de decisiones” en la administración pública son movimientos positivos en esta dirección.5858. Julia Powles, “New York City’s Bold, Flawed Attempt to Make Algorithms Accountable.” The New Yorker, 20 de diciembre de 2017, visitado el 14 de junio de 2018, https://www.newyorker.com/tech/elements/new-york-citys-bold-flawed-attempt-to-make-algorithms-accountable. Además, la rendición de cuentas de los algoritmos tiene que ser complementada con marcos robustos de protección de datos que protejan los derechos ciudadanos, les den control sobre sus datos e impidan técnicas basadas en datos poco éticas y deshonestas o especulaciones económicas. Las políticas deben encontrar el equilibrio justo entre el cuidado de los datos personales privados de los individuos y la apreciación de los datos como un valor público colectivo positivo. Esto quiere decir que algunas dimensiones de los datos y de la inteligencia digital sean tratados como recursos públicos y estén sujetos a una supervisión pública adecuada. Esto no es negociable si la gobernanza basada en datos pretende reflejar una verdadera intención democrática, promover el desarrollo inclusivo y garantizar los derechos de los ciudadanos.

En último lugar, es la intención humana lo que determina el diseño democrático, o su falta, en una tecnología determinada.5959. Gurumurthy et al., “Voice or Chatter?”, 2017. La inteligencia digital y los ensamblajes algorítmicos pueden vigilar, privar de prestaciones o discriminar, no porque tengan unos parámetros objetivos, sino porque no han sido sometidos a la supervisión institucional necesaria que sustenta la realización de ideales socioculturales en las democracias contemporáneas. Las innovaciones del futuro pueden fomentar la igualdad y la justicia social solo si las políticas de hoy configuran un mandato para los sistemas digitales que ponga en el centro la representación ciudadana y la rendición de cuentas democrática.