Resumen
Introducción: En el contexto de la pérdida de confianza hacia los contenidos en internet, la desinformación, las noticias falsas y la crisis financiera que afecta a la prensa a escala global, se revisan los estudios que proponen instrumentos dedicados a evaluar los sitios web de los medios digitales.
Objetivos: Identificar y caracterizar los trabajos focalizados en el análisis de cibermedios, examinar sus métodos e indicadores, y revisar si estos consideran atributos de fiabilidad.
Metodología: Se examina la producción científica sobre calidad web mediante una revisión bibliográfica sistematizada sobre 83 publicaciones recuperadas desde las principales bases de datos. También se detectan parámetros de calidad en general y menciones a aspectos web con implicaciones éticas o sociales.
Resultados y discusión: Se constata que las herramientas específicas para medir la calidad web de los medios digitales son escasas y que entre los métodos de evaluación predomina el análisis experto mediante inspección heurística por sobre los estudios de usuario. El parámetro más estudiado es la interactividad, entendida como espacio de participación, seguida por la usabilidad o facilidad de uso, la arquitectura de información y el contenido, entre otros. Además, se detectan muy pocas menciones a asuntos deontológicos –como enlaces engañosos, protección de datos o corrección de informaciones– y casi nulas referencias a directrices, estándares y políticas internacionales.
Conclusiones: Numerosos trabajos abordan indicadores específicos de los medios digitales, pero existen pocos protocolos de análisis para los sitios web que los sustentan. Hay un amplio margen de mejora en los estudios de la calidad web en cibermedios, en cuanto a considerar no solo asuntos técnicos sino también parámetros propios del rigor periodístico y la credibilidad informativa.
Palabras clave: Calidad web; medios digitales; cibermedios; sitios web; métodos de evaluación; confiabilidad, desinformación.
Abstract
Introduction: In the context of the loss of confidence towards Internet content, misinformation, fake news and the financial crisis affecting the press globally, the studies that propose instruments dedicated to evaluating digital media websites are reviewed.
Objectives: Identify and characterize the works focused on digital media, examine their methodologies and indicators, and check if they consider reliability attributes among them.
Methodology: Scientific production on web quality is examined through a systematic review on 83 articles retrieved from the main databases, detecting parameters of web quality in general, and mentions of web aspects with ethical or social implications.
Results and discussion: As part of the findings, it has been found that specific tools for the evaluation of digital media are scarce and that among the evaluation methods, expert analysis through heuristic inspection predominates over user studies. The most studied parameter is interactivity, understood as a space for participation, followed by usability, accessibility and personalization, among others. In addition, there are very few references to deontological matters and almost no references to international guidelines, standards and policies.
Conclusions: Numerous studies address specific indicators of digital media, but there are few analysis protocols for websites that support them. There is, therefore, a wide margin of improvement in the studies of website quality in digital media, incorporating not only technical issues but also considering parameters of journalistic rigor and informative credibility.
Keywords: Website quality; digital media; websites; evaluation methods; reliability; trustfulness; misinformation.
Introducción
A más de tres décadas desde la invención de la web, esta es hoy el espacio de comunicación más utilizado del mundo (Internet Live Stats, 2021). Mientras el uso de los medios tradicionales como fuente informativa ha decrecido en los últimos años a escala global, en sus versiones digitales se mantiene o aumenta. De hecho, tanto el consumo de prensa online como de redes sociales se ha incrementado sustancialmente en la mayoría de los países, según el Digital News Report (Newman et al., 2021). La versión 2021 de este informe del Reuters Institute añade que más de un 80% de los usuarios lee noticias en línea y casi tres cuartas partes lo hace a través de un teléfono móvil inteligente.
Ahora bien, de acuerdo con este mismo informe, si ya existía inquietud por el fenómeno de la desinformación, con la aparición de la pandemia de la COVID-19 esta ha crecido. Un 58% de los encuestados siente preocupación con respecto a qué noticias son verdaderas y cuáles informaciones son engañosas en internet (Newman et al., 2021).
Ello ha redoblado la necesidad de un periodismo riguroso y confiable, que pueda tanto informar como educar, dado lo permeables que somos a la desinformación. El mismo reporte, pero de 2018, indica que la mayoría de las personas opinan que son los directivos de los sitios web de noticias (75%) y de las plataformas sociales (71%) quienes tienen la mayor responsabilidad de solucionar el problema de las fake news o noticias falsas (Newman et al., 2018).
Por ello, es relevante que los sitios web de la prensa digital, los llamados cibermedios (Díaz Noci y Salaverría, 2003), apliquen criterios de calidad no solo en su contenido periodístico y estándares informativos (Rivas-de-Roca et al., 2020; Romero-Rodríguez et al., 2016), sino también en la organización, navegación, diseño visual y facilidad de uso de su interfaz. La razón es que estos aspectos son decisivos tanto en la credibilidad del sitio como en la visibilidad de las noticias.
Frente a esta preocupación, podemos encontrar respuestas en la práctica que se ocupa de la evaluación de la calidad web, la que apareció con el surgimiento de los sitios web y que con los años se ha convertido en un importante e interdisciplinario campo de estudio. Es así como, tanto desde el ámbito académico como el profesional, se han generado numerosas propuestas para el análisis de los sitios web, expresadas en publicaciones científicas y documentos de orden más técnico orientados hacia la industria. Por ejemplo, Morales-Vargas et al. (2020) y Rekik et al. (2018) presentan sendas revisiones con más de 700 y 500 de estos trabajos sobre calidad web, respectivamente.
Los primeros estudios surgieron de cara a evaluar la usabilidad o medida de eficacia, eficiencia y satisfacción (Nielsen, 2000) y, más recientemente, la experiencia de usuario (Garrett, 2011). Estas consideran la aplicación de testeos experimentales (Rubin y Chisnell, 2008) y métodos cuantitativos provenientes de la estadística (Sauro, 2010; Sauro y Lewis, 2012) y las métricas (Tullis y Albert, 2013). De igual modo, existe una segunda vertiente cuyos métodos se centran en el análisis de profesionales expertos. Sus reportes pueden tomar la forma de estándares (Bevan, 2005), reglas (Shneiderman, 2016), directrices (Leavitt y Shneiderman, 2006), principios (Tognazzini, 2014), heurísticas (Nielsen, 2020) o recomendaciones (Krug, 2014), entre otros.
Por otra parte, estas herramientas pueden ser de uso general, vale decir, que sirven para evaluar cualquier tipo de sitio (Codina, 2008); o corresponder a análisis sectoriales, que están especializados en un sector concreto. Tal es el caso del comercio electrónico, la educación, la sanidad, el gobierno, el turismo o los medios de comunicación (Pedraza-Jiménez et al., 2016).
Ejemplos de estos últimos instrumentos de evaluación de calidad web focalizados en cibermedios encontramos en trabajos pioneros como los de Abdullah y Wei (2008), basado en heurísticas de usabilidad; Zambarbieri et al. (2008), que aplica la técnica de eyetracking o seguimiento ocular; Rodríguez-Martínez et al. (2010), análisis experto destinado a analizar la adopción de la Web 2.0; Al-Radaideh et al. (2011), sustentado en el estudio de usuarios; Chung et al. (2012), sobre la base de encuestas; o el protocolo de análisis de contenidos propuesto por Martins (2012).
La presente investigación apunta precisamente a examinar este tipo de estudios. Busca, de manera general, caracterizar la literatura sobre la evaluación de la calidad web especializada en el sector mediático o aquel relativo a la prensa digital. Ello, con el objetivo de identificar sus diferentes metodologías e instrumentos y conocer sus principales autores.
Y de forma particular, este trabajo pone especial atención en los atributos de calidad web (Hasan y Abuelrub, 2011; Olsina et al., 2006) que consideran estas herramientas y el grado de automatización con que se aplican. También si contemplan entre sus parámetros e indicadores específicos referencias a políticas internacionales de tecnología y comunicación, como los indicadores de universalidad de internet de la Unesco (2019), el reglamento general de protección de datos de la Unión Europea (2016) y otras directrices de calidad informativa.
Además, se plantea conocer si estos instrumentos toman en cuenta aspectos éticos y sociales donde la interfaz web tiene implicaciones, tales como: clickbait o titulares engañosos (García Orosa et al., 2017), privacidad de la información, rendición de cuentas (Mauri-Ríos y Ramon-Vegas, 2015), separación entre publicidad y contenido periodístico (Chung et al., 2012), venta de enlaces patrocinados (Lopezosa et al., 2019), declaración de fuentes de financiación, firma de los periodistas (The Trust Project, 2020), derechos de autor, y protección de la infancia (García de Torres y Farmer, 2017), entre otros.
Todos estos asuntos cobran gran relevancia en estos momentos en que existe una pérdida de credibilidad en los contenidos de internet debido a la proliferación de bulos, noticias falsas y desórdenes informativos (Guallar et al., 2020), acentuados en tiempos del coronavirus (Salaverría et al., 2020). Y en momentos en que la industria de los medios de comunicación pasa por una crisis de financiación en busca de nuevas fuentes de ingresos (Carvajal y Valero Pastor, 2018).
Es en este contexto donde la evaluación de la calidad web en cibermedios surge como una disciplina que puede aportar un conjunto de herramientas de gran utilidad. Bajo esa hipótesis, este trabajo presenta una revisión y caracterización de los estudios existentes, los instrumentos que proponen y los principales indicadores que contemplan.
(…)
Citación recomendada
Morales-Vargas, Alejandro; Pedraza-Jiménez, Rafael; y Codina, Lluís (2022). Calidad web en medios digitales: revisión bibliográfica sobre métodos e indicadores de evaluación general y atributos de confianza. Revista Latina de Comunicación Social, 80, 39-63. https://www.doi.org/10.4185/RLCS-2022-1515
Enlaces destacados
-
Acceso al artículo en texto completo
- Descarga en PDF (versión preprint)
- Sitio web de la Revista Latina de Comunicación Social
Financiación
Este estudio forma parte del proyecto “Narración interactiva y visibilidad digital en el documental interactivo y el periodismo estructurado” RTI2018-095714-B-C21 (MICINN/FEDER), Ministerio de Ciencia, Innovación y Universidades (España).
También cuenta con el apoyo de la Agencia Nacional de Investigación y Desarrollo (ANID) de Chile, a través del programa Becas Chile para Doctorado en el Extranjero.
Referencias bibliográficas
Abadal, E., & Guallar, J. (2018). Scientific production on interaction in digital news media. En M. Pérez-Montoro (Ed.), Interaction in Digital News Media: From Principles to Practice (pp. 175-191). Palgrave Macmillan. https://doi.org/10.1007/978-3-319-96253-5_8
Abdullah, R., & Wei, K. T. (2008). Usability Measurement of Malaysia Online News Websites. IJCSNS International Journal of Computer Science and Network Security, 8(5).
Aguirre Mayorga, C., & Bernal Suárez, J. D. (2014). Contenidos periodísticos digitales: hacia un modelo de medición de calidad. ComHumanitas, 5(1), 75-90.
Al-Radaideh, Q. A., Abu-Shanab, E., Hamam, S., & Abu-Salem, H. (2011). Usability evaluation of online news websites: A user perspective approach. World Academy of Science, Engineering and Technology, 50, 1049-1057.
Allison, R., Hayes, C., McNulty, C. A. M., & Young, V. (2019). A Comprehensive Framework to Evaluate Websites: Literature Review and Development of GoodWeb. JMIR formative research, 3(4), e14372. https://doi.org/10.2196/14372
Anderson, P. J., & Egglestone, P. (2012). The development of effective quality measures relevant to the future practice of BBC news journalism online. Journalism: Theory, Practice & Criticism, 13(7), 923-941. https://doi.org/10.1177/1464884912457533
Apablaza-Campos, A., & Codina, L. (2018). Social Media Live Streaming: estudio de caso y diseño de matriz de análisis. Cuadernos.info, 43, 161-179. https://doi.org/10.7764/cdi.43.1342
Apablaza-Campos, A., Morales-Vargas, A., Lopezosa, C., Salvat, J., & Codina, L. (2020). Social Media Live Streaming (SMLS) en medios digitales: el uso de Periscope, Facebook Live y YouTube Live en cibermedios chilenos. Dígitos. Revista de Comunicación Digital, 6, 219-238. https://doi.org/10.7203/RD.V1I6.145
Aranyi, G., & van Schaik, P. (2016). Testing a model of user-experience with news websites. Journal of the Association for Information Science and Technology, 67(7), 1555-1575. https://doi.org/10.1002/asi.23462
Aranyi, G., van Schaik, P., & Barker, P. (2012). Using think-aloud and psychometrics to explore users’ experience with a news Web site. Interacting with Computers, 24(2), 69-77. https://doi.org/10.1016/j.intcom.2012.01.001
Bevan, N. (2005). Guidelines and standards for web usability. Proceedings of the 11th International Conference on Human-Computer Interaction, Las Vegas (HCI International), 22–27.
Booth, A., Sutton, A., & Papaioannou, D. (2016). Systematic approaches to a successful literature review (2nd ed.). SAGE Publications Ltd. https://uk.sagepub.com/en-gb/eur/systematic-approaches-to-a-successful-literature-review/book244586
Cabrera González, M. Á. (2010). Evolución tecnológica y cibermedios. Comunicación Social.
Carvajal, M., & Valero Pastor, J. M. (2018). Revenue streams within Spain’s journalism industry, according to its editors. Hipertext.net: Revista Académica sobre Documentación Digital y Comunicación Interactiva, 0(17), 83-94. https://doi.org/10.31009/hipertext.net.2018.i17.08
Cebrián-Herreros, M. (2009). Comunicación interactiva en los cibermedios. Comunicar, 17(33), 15-24. https://doi.org/10.3916/c33-2009-02-001
Chung, C. J., Nam, Y., & Stefanone, M. A. (2012). Exploring online news credibility: The relative influence of traditional and technological factors. Journal of Computer-Mediated Communication, 17(2), 171-186. https://doi.org/10.1111/j.1083-6101.2011.01565.x
Codina, L. (2008). Sistema general de análisis y evaluación de sitios web: parámetros e indicadores. En Metodología de análisis y evaluación de recursos digitales en línea (Vol. 1). http://www.lluiscodina.com/wp-content/uploads/2014/04/indicadores_2008.pdf
Codina, L. (2018). Revisiones bibliográficas sistematizadas: procedimientos generales y framework para ciencias humanas y sociales. Departamento de Comunicación, Universitat Pompeu Fabra. https://repositori.upf.edu/handle/10230/34497
Codina, L., Pedraza-Jiménez, R., Díaz-Noci, J., Rodríguez-Martínez, R., Pérez-Montoro, M., & Cavaller-Reyes, V. (2014). Sistema Articulado de Análisis de Cibermedios (SAAC): Una propuesta sobre el qué y el cómo para estudiar medios de comunicación digitales. Hipertext.net: Revista Académica sobre Documentación Digital y Comunicación Interactiva, 0(12). http://raco.cat/index.php/Hipertext/article/view/275560
Cristóbal Fransi, E., Hernández Soriano, F., & Marimon, F. (2017). Critical factors in the evaluation of online media: creation and implementation of a measurement scale (e-SQ-Media). Universal Access in the Information Society, 16(1), 235-246. https://doi.org/10.1007/s10209-016-0454-3
Di Massa, R., Montagnuolo, M., & Messina, A. (2010). Implicit news recommendation based on user interest models and multimodal content analysis. Proceedings of the 3rd international workshop on Automated information extraction in media production – AIEMPro ’10, 33. https://doi.org/10.1145/1877850.1877861
Díaz-Campo, J. (2014). Las cadenas de televisión españolas en Internet: un estudio sobre la calidad de sus sitios web. Estudios sobre el Mensaje Periodístico, 20(1). https://doi.org/10.5209/rev_ESMP.2014.v20.n1.45219
Díaz Noci, J., & Salaverría, R. (2003). Manual de redacción ciberperiodística. Editorial Ariel.
Eberwein, T. (2019). «Trolls» or «warriors of faith»? Differentiating dysfunctional forms of media criticism in online comments. Journal of Information, Communication and Ethics in Society, ahead–of–p(ahead-of-print), 131-143. https://doi.org/10.1108/JICES-08-2019-0090
Flavián, C., & Gurrea, R. (2006a). The choice of digital newspapers: influence of reader goals and user experience. Internet Research, 16(3), 231-247. https://doi.org/10.1108/10662240610673673
Flavián, C., & Gurrea, R. (2006b). The role of readers’ motivations in the choice of digital versus traditional newspapers. Journal of Targeting, Measurement and Analysis for Marketing, 14(4), 325-335. https://doi.org/10.1057/palgrave.jt.5740192
Flavián, C., & Gurrea, R. (2007). Analyzing the influence of websites attributes on the choice of newspapers on the internet. En E-Commerce and Web Technologies (pp. 179-190). Springer Berlin Heidelberg. https://doi.org/10.1007/978-3-540-74563-1_18
Fondevila Gascón, J. F. (2014). El uso de hipertexto, multimedia e interactividad en periodismo digital: propuesta metodológica de ranking de calidad. Zer, 19(36), 55-76. https://addi.ehu.es/handle/10810/41163
Freixa, P. (2020). Herramientas e indicadores para el análisis de la temporalidad en el periodismo digital y el documental interactivo. Comunicación y diversidad. Selección de comunicaciones del VII Congreso Internacional de la Asociación Española de Investigación de la Comunicación (AE-IC), 25-37. https://doi.org/10.3145/AE-IC-epi.2020.e02
García-Carretero, L., Codina, L., Díaz-Noci, J., & Iglesias-García, M. (2016). Herramientas e indicadores SEO: características y aplicación para análisis de cibermedios. El Profesional de la Información, 25(3), 497. https://doi.org/10.3145/epi.2016.may.19
García-Carretero, L., Codina, L., & Pedraza-Jiménez, R. (2016). Indicadores para el estudio de la visibilidad y del impacto de los cibermedios en el ecosistema digital: mapeo y caracterización de herramientas de análisis SEO online. http://hdl.handle.net/10230/27455
García-Carretero, L., Lopezosa, C., & Codina, L. (2020). Análisis de visibilidad de los medios nativos digitales en Internet: Propuesta metodológica y resultados. En K. Meso Ayerdi, S. Peña Fernández, & A. Larrondo Ureta (Eds.), XI Congreso Internacional de Ciberperiodismo. Nuevos actores y estrategias en el espacio mediático compartido (pp. 115-145). Universidad del País Vasco. https://dialnet.unirioja.es/servlet/articulo?codigo=7433488
García de Torres, E., & Farmer, Y. (2017). Ética en los medios de comunicación: retos y oportunidades para la investigación. Profesional de la Información, 26(2), 153-157. https://doi.org/10.3145/epi.2017.mar.01
García Orosa, B., Gallur Santorun, S., & López García, X. (2017). El uso del clickbait en cibermedios de los 28 países de la Unión Europea. En Revista Latina de Comunicación Social. https://doi.org/10.4185/RLCS-2017-1218
Garrett, J. J. (2011). The elements of user experience: User-centered design for the web and beyond (2nd ed.). New Riders.
Gough, D., Oliver, S., & Thomas, J. (2017). An introduction to systematic reviews (2nd ed.). SAGE Publications Ltd. https://uk.sagepub.com/en-gb/eur/an-introduction-to-systematic-reviews/book245742
Grant, M. J., & Booth, A. (2009). A typology of reviews: an analysis of 14 review types and associated methodologies. Health Information & Libraries Journal, 26(2), 91-108. https://doi.org/10.1111/j.1471-1842.2009.00848.x
Guallar, J., Codina, L., Freixa, P., & Pérez-Montoro, M. (2020). Desinformación, bulos, curación y verificación. Revisión de estudios en Iberoamérica 2017-2020. Telos Revista de Estudios Interdisciplinarios en Ciencias Sociales, 22(3), 595-613. https://doi.org/10.36390/telos223.09
Guallar, J., Rovira, C., & Ruiz, S. (2010). Multimedialidad en la prensa digital. Elementos multimedia y sistemas de recuperación en los principales diarios digitales españoles. Profesional de la Información, 19(6), 620-631. https://doi.org/10.3145/epi.2010.nov.08
Hasan, L., & Abuelrub, E. (2011). Assessing the quality of web sites. Applied Computing and Informatics, 9(1), 11-29. https://doi.org/10.1016/j.aci.2009.03.001
Hernández Soriano, F. (2015). E-SQ-MEDIA, creación e implementación de una escala de medición de la calidad percibida en cibermedios [Universitat de Lleida]. En TDX (Tesis Doctorals en Xarxa). http://hdl.handle.net/10803/458999
Hernández Soriano, F., & Cristóbal Fransi, E. (2013). Estado de la cuestión y nuevas perspectivas en la evaluación de la calidad percibida en los cibermedios. Historia y Comunicación Social, 18(0), 15-27. https://doi.org/10.5209/rev_HICS.2013.v18.44222
Hernández Soriano, F., & Cristóbal Fransi, E. (2014). Evaluación de las herramientas Web 2.0 en el periodismo digital: el caso de VilaWeb. Historia y Comunicación Social, 19(0). https://doi.org/10.5209/rev_HICS.2014.v19.44942
Hernández Soriano, F., & Cristóbal Fransi, E. (2016). La interacción como factor determinante de la calidad de un cibermedio. Opción: Revista de Ciencias Humanas y Sociales, 7(32), 848-864. http://repositori.udl.cat/handle/10459.1/59065
Iglesias-García, M., & González-Díaz, C. (2012). Análisis de la calidad de la web del ciberdiario VilaWeb. Hipertext.net: Revista Académica sobre Documentación Digital y Comunicación Interactiva, 10, 20. https://www.upf.edu/hipertextnet/numero-10/vilaweb-analisis-calidad-web-ciberdiario.html
Internet Live Stats. (2021). Internet Usage & Social Media Statistics. http://www.internetlivestats.com/
ISO. (2018). ISO 9241-11:2018 Ergonomics of human-system interaction — Part 11: Usability: Definitions and concepts (p. 32). International Organization for Standardization [ISO].
Jeong, W., & Jung Han, H. (2012). Usability study on newspaper mobile websites. OCLC Systems & Services: International digital library perspectives, 28(4), 180-198. https://doi.org/10.1108/10650751211279120
Jiménez Iglesias, L. (2018). Usabilidad para dispositivos móviles basada en la evidencia: los cibermedios españoles [Universitat de Barcelona]. En TDX (Tesis Doctorals en Xarxa). http://www.tdx.cat/handle/10803/463040
Jowkar, A., & Didegah, F. (2010). Evaluating Iranian newspapers’ web sites using correspondence analysis. Library Hi Tech, 28(1), 119-130. https://doi.org/10.1108/07378831011026733
Krug, S. (2014). Don’t make me think, revisited: A common sense approach to web and mobile usability (New Riders (ed.); 3rd ed.). Pearson Education. http://sensible.com/dmmt.html
Ksiazek, T. B. (2018). Commenting on the news: Explaining the degree and quality of user comments on news websites. Journalism Studies, 19(5), 650-673. https://doi.org/10.1080/1461670X.2016.1209977
Langer, J., & Zeiller, M. (2017, noviembre 30). Evaluation of the User Experience of Interactive Infographics in Online Newspapers. 10th Forum Media Technology 2017. https://people.fh-burgenland.at/handle/20.500.11790/961
Leavitt, M. O., & Shneiderman, B. (2006). Research-based web design & usability guidelines (U.S. Department of Health & Human Services (ed.); 2nd ed.). https://guidelines.usability.gov/
Limia Fernández, M., Toural Bran, C., & López García, X. (2013). Interactividad y participación en los cibermedios: una propuesta metodológica para la elaboración, registro y análisis de datos. 2o Congreso Nacional sobre Metodología de la Investigación en Comunicación: Investigar la Comunicación hoy. Revisión de políticas científicas y aportaciones metodológicas, 187-204. http://uvadoc.uva.es/handle/10324/3030
Linares, J., Codina, L., & Freixa, P. (2015). Tendencias en cibermedios: análisis de la interactividad. http://hdl.handle.net/10230/24636
Linares, J., Codina, L., & Pedraza-Jiménez, R. (2015). Interactividad en cibermedios: Propuesta nuclear de protocolo de análisis. http://hdl.handle.net/10230/23167
Linares, J., Codina, L., Vàllez Letrado, M., & Rodríguez Martínez, R. (2016). Interactividad, buscabilidad y visibilidad en cibermedios: sistema de análisis y resultados (Serie Editorial Digidoc. Proyecto Audiencias Activas). https://repositori.upf.edu/handle/10230/26280
Linares, J., Codina, L., Vàllez, M., & Rodríguez-Martínez, R. (2016). Interactividad, buscabilidad y visibilidad en cibermedios: sistema de análisis y resultados (Serie Editorial Digidoc. Proyecto Audiencias Activas). http://hdl.handle.net/10230/26280
López García, G. (Ed. . (2008). Los cibermedios valencianos: Cartografía, características y contenidos. Servei de Publicacions de la Universitat de València. https://libros.metabiblioteca.org/handle/001/319
Lopezosa, C., & Codina, L. (2018). Análisis de posicionamiento en medios de comunicación con herramientas SEO: cobertura informativa de los premios Oscar 2017 (Serie Editorial DigiDoc EPI). http://hdl.handle.net/10230/33632
Lopezosa, C., Codina, L., & Gonzalo-Penela, C. (2019). Off-page SEO and link building: General strategies and authority transfer in the digital news media. Profesional de la Información, 28(1). https://doi.org/10.3145/epi.2019.ene.07
Lopezosa, C., Codina, L., López-García, G., & Corbella-Cordomi, J.-M. (2020). Mapa de visibilidad y posicionamiento en buscadores de los principales grupos mediáticos españoles. Profesional de la Información, 29(2). https://doi.org/10.3145/epi.2020.mar.03
Lopezosa, C., García-Carretero, L., Gonzalo-Penela, C., & Codina, L. (2020). Sistema de análisis (AVCIS) de la visibilidad en cibermedios mediante indicadores SEO. En K. Meso Ayerdi, S. Peña Fernández, & A. Larrondo Ureta (Eds.), XI Congreso Internacional de Ciberperiodismo (Bilbao): Nuevos actores y estrategias en el espacio mediático compartido (pp. 185-204). Universidad del País Vasco. https://dialnet.unirioja.es/servlet/articulo?codigo=7433485
Lopezosa, C., Iglesias-García, M., González-Díaz, C., & Codina, L. (2020). Experiencia de búsqueda en cibermedios: análisis comparativo de diarios nativos digitales. Revista Española de Documentación Científica, 43(1), e254. https://doi.org/10.3989/REDC.2020.1.1677
Mariage, C., & Vanderdonckt, J. (2001). A comparative usability study of electronic newspapers. En Tools for Working with Guidelines (pp. 325-337). Springer London. https://doi.org/10.1007/978-1-4471-0279-3_31
Martín-Martín, A., Orduna-Malea, E., Thelwall, M., & Delgado López-Cózar, E. (2018). Google Scholar, Web of Science, and Scopus: A systematic comparison of citations in 252 subject categories. Journal of Informetrics, 12(4), 1160-1177. https://doi.org/10.1016/j.joi.2018.09.002
Martín-Sanromán, J.-R., Suárez Carballo, F., & Zambrano, J.-C. (2019). La experiencia de usuario en los productos periodísticos: un enfoque desde el diseño centrado en el lector-usuario. El Argonauta español, 16. https://doi.org/10.4000/ARGONAUTA.3540
Martins, G. L. (2012). Protocolo de qualidade para conteúdos em ciberjornalismo: estudo comparativo Espanha e Brasil em portais de notícias de referência. 10o Encontro Nacional de Pesquisadores em Jornalismo – Associação Brasileira de Pesquisadores em Jornalismo (SBPJor), 1-17. https://www.researchgate.net/publication/236647194
Masip, P., Díaz-Noci, J., Domingo, D., Micó-Sanz, J.-L., & Salaverría, R. (2010). Investigación internacional sobre ciberperiodismo: hipertexto, interactividad, multimedia y convergencia. El Profesional de la Información, 19(6), 568-576. https://doi.org/10.3145/epi.2010.nov.02
Mauri-Ríos, M., & Ramon-Vegas, X. (2015). Nuevos sistemas de rendición de cuentas de la información periodística. Exploración del escenario online español. Profesional de la Información, 24(4), 380. https://doi.org/10.3145/epi.2015.jul.04
Mogollón, H., Acevedo, A., & Ramírez, J. (2006). Cibermedios venezolanos: Bajo la lupa de la usabilidad. Comunicación: estudios venezolanos de comunicación, 136(4), 36-43. https://dialnet.unirioja.es/servlet/articulo?codigo=2294183
Morales-Vargas, A., Pedraza-Jiménez, R., & Codina, L. (2020). Website quality: An analysis of scientific production. Profesional de la Información, 29(5), e290508. https://doi.org/10.3145/epi.2020.sep.08
Newman, N., Fletcher, R., Kalogeropoulos, A., Levy, D. A. L., & Nielsen, R. K. (2018). Reuters Institute Digital News Report 2018 (Vol. 1). https://www.digitalnewsreport.org
Newman, N., Fletcher, R., Schulz, A., Andi, S., Robertson, C. T., & Nielsen, R. K. (2021). Digital News Report 2021. https://reutersinstitute.politics.ox.ac.uk/digital-news-report/2021
Nielsen, J. (2000). Designing web usability. New Riders.
Nielsen, J. (2020). 10 usability heuristics for user interface design. Nielsen Norman Group. https://www.nngroup.com/articles/ten-usability-heuristics/
Nunes, S., Almeida, A., Giesteira, B., Pinto, F., & Oliveira, P. (2007). Interface evaluation of Portuguese and international news websites. MCCSIS 2007 – IADIS Multi Conference on Computer Science and Information Systems – Proceedings of Intelligent Systems and Agents 2007, Interfaces and Human Computer Interaction 2007, Computer Graphics and Visualization 2007, 109-116.
O’Brien, H. L., & Lebow, M. (2013). Mixed-methods approach to measuring user experience in online news interactions. Journal of the American Society for Information Science and Technology, 64(8), 1543-1556. https://doi.org/10.1002/asi.22871
Odriozola Chéné, J., Aguirre Mayorga, C., & Bernal Suárez, J. D. (2017). Condicionantes en la calidad de los contenidos de los cibermedios ecuatorianos: convergencia periodística, agenda temática e inmediatez. Estudios sobre el Mensaje Periodístico, 22(2), 1103-1121. https://doi.org/10.5209/ESMP.54254
Olsina, L., Covella, G., & Rossi, G. (2006). Web quality. En E. Mendes & N. Mosley (Eds.), Web Engineering (pp. 109-142). Springer Berlin Heidelberg. https://doi.org/10.1007/3-540-28218-1_4
Omidvar, A., Pourmodheji, H., An, A., & Edall, G. (2020). Learning to Determine the Quality of News Headlines. Proceedings of the 12th International Conference on Agents and Artificial Intelligence, 1, 401-409. https://doi.org/10.5220/0009367504010409
Palacios, M., & Díaz Noci, J. (2009). Online journalism: research methods. A multidisciplinary approach in comparative perspective. Servicio Editorial de la Universidad del País Vasco/Euskal Herriko Unibertsitatearen Argitalpen Zerbitzua.
Pedraza-Jiménez, R., Codina, L., & Guallar, J. (2016). Calidad en sitios web: Método de análisis general, e-commerce, imágenes, hemerotecas y turismo. Editorial UOC.
Pribeanu, C. (2009). A usability assistant for the heuristic evaluation of interactive systems. Studies in Informatics and Control, 18(4), 355-362.
Rabaya Toma, T., Mahmud, I., Emran Hossain, M., Jahan, N., Ramayah, T., & Jayapal, P. (2018). To Read or Not to Read: Modeling Online Newspaper Reading Satisfaction and Its Impact on Revisit Intention and Word-Of-Mouth. Interdisciplinary Journal of Information, Knowledge, and Management, 13, 337-359. https://doi.org/10.28945/4118
Rekik, R., Kallel, I., Casillas, J., & Alimi, A. M. (2018). Assessing web sites quality: A systematic literature review by text and association rules mining. International Journal of Information Management, 38(1), 201-216. https://doi.org/10.1016/J.IJINFOMGT.2017.06.007
Rivas-de-Roca, R., Caro-González, F. J., & García-Gordillo, M. (2020). Indicadores transnacionales de calidad informativa basados en la experiencia de periodistas locales: estudios de caso en medios digitales de Alemania, España y Reino Unido. Congreso Internacional de la Asociación Española de Investigación de la Comunicación, 39-50. https://doi.org/10.3145/AE-IC-epi.2020.e03
Rodríguez-Martínez, R., Codina, L., & Pedraza-Jiménez, R. (2010). Cibermedios y web 2.0: modelo de análisis y resultados de aplicación. Profesional de la Información, 19(1), 35-44. https://doi.org/10.3145/epi.2010.ene.05
Rodríguez-Martínez, R., Codina, L., & Pedraza-Jiménez, R. (2012). Indicadores para la evaluación de la calidad en cibermedios: análisis de la interacción y de la adopción de la Web 2.0. Revista española de Documentación Científica, 35(1), 61-93. https://doi.org/10.3989/redc.2012.1.858
Romero-Rodríguez, L. M., De-Casas-Moreno, P., & Torres-Toukoumidis, Á. (2016). Dimensiones e indicadores de la calidad informativa en los medios digitales. Comunicar, 24(49), 91-100. https://doi.org/10.3916/C49-2016-09
Rosa, J. M., & Veras, M. (2013). Avaliação heurística de usabilidade em jornais online: estudo de caso em dois sites. Perspectivas em Ciência da Informação, 18(1), 138-157. https://doi.org/10.1590/S1413-99362013000100010
Rosala, M., & Krause, R. (2020). User Experience Careers: What a Career in UX Looks Like Today. https://www.nngroup.com/reports
Rosenfeld, L., Morville, P., & Arango, J. (2015). Information Architecture: For the web and beyond (4th ed.). O’Reilly Media.
Rubin, J., & Chisnell, D. (2008). Handbook of usability testing: How to plan, design, and conduct effective tests. Wiley.
Said-Hung, E., & Arcila-Calderón, C. (2011a). Hacia un índice de medición del desarrollo de los cibermedios. Actas de la V Conferencia ACORN-REDECOM. http://www.prensaescrita.com/america/colombia.php
Said-Hung, E., & Arcila-Calderón, C. (2011b). Los cibermedios en América Latina y la Web 2.0. Comunicar, 19(37), 125-131. https://doi.org/10.3916/C37-2011-03-04
Salas Hernández, T. U., Hernández Estrada, Ó., & Realyvázquez Quintana, J. A. (2018). Factores de accesibilidad y calidad en cibermedios mexicanos: caso Chihuahua. Ámbitos. Revista Internacional de Comunicación, 40. https://idus.us.es/handle/11441/71913
Salaverría, R. (2017). Tipología de los cibermedios periodísticos: bases teóricas para su clasificación. Revista Mediterránea de Comunicación, 8(1). https://doi.org/10.14198/medcom2017.8.1.2
Salaverría, R. (2019). Periodismo digital: 25 años de investigación. Artículo de revisión. Profesional de la Información, 28(1), 1699-2407. https://doi.org/10.3145/epi.2019.ene.01
Salaverría, R., Buslón, N., López-Pan, F., León, B., López-Goñi, I., & Erviti, M.-C. (2020). Desinformación en tiempos de pandemia: tipología de los bulos sobre la Covid-19. Profesional de la Información, 29(3). https://doi.org/10.3145/epi.2020.may.15
Salaverría, R., Cores, R., Díaz-Noci, J., Meso Ayerdi, K., & Larrondo Ureta, A. (2004). Evaluación de los ciberdiarios en las comunidades vasca y navarra. Communication & Society, 17(1), 161-192. http://www.comunicacionysociedad.com/es/articulo.php?art_id=78
Sanabre Vives, C. (2015). Un modelo para el análisis y concepción sitios web: El WebSite Canvas Model aplicado a Eldiario.es. Hipertext.net: Revista Académica sobre Documentación Digital y Comunicación Interactiva, 13, 19. https://doi.org/10.2436/20.8050.01.20
Sánchez-González, M., & Alonso, J. (2012). Propuesta metodológica para el análisis de las tecnologías de participación en cibermedios. Revista Latina de Comunicación Social (67). https://doi.org/10.4185/RLCS-067-951-148-178
Sauro, J. (2010). A practical guide to measuring usability: Quantifying the usability of websites and software. CreateSpace.
Sauro, J., & Lewis, J. R. (2016). Quantifying the user experience: practical statistics for user research (Second ed.). Elsevier / Morgan Kaufmann.
Scharkow, M. (2013). Thematic content analysis using supervised machine learning: An empirical evaluation using German online news. Quality & Quantity, 47(2), 761-773. https://doi.org/10.1007/s11135-011-9545-7
Serm, T. C., Blanchfield, P., & Su, K. S. D. (2006). Mobile newspaper development framework: Guidelines for newspaper companies for creating usable mobile news portals. 2006 International Conference on Computing & Informatics, 1-8. https://doi.org/10.1109/ICOCI.2006.5276443
Shneiderman, B. (2016). The eight golden rules of interface design. Department of Computer Science, University of Maryland. https://www.cs.umd.edu/users/ben/goldenrules.html
The Trust Project. (2020). The Trust Indicators and their Attributes. Markkula Center for Applied Ethics, Santa Clara University. https://thetrustproject.org/
Thelwall, M., & Kousha, K. (2015). Web indicators for research evaluation. Part 2: Social media metrics. Profesional de La Información, 24(5), 607-620. https://doi.org/10.3145/epi.2015.sep.09
Tognazzini, B. (2014). First principles of interaction design (revised and expanded). En Ask TOG: Interaction design solutions for the real world. https://asktog.com/atc/principles-of-interaction-design/
Tullis, T., & Albert, W. (2013). Measuring the user experience: Collecting, analyzing, and presenting usability metrics (2nd ed.). Morgan Kaufmann. https://www.sciencedirect.com/book/9780124157811/measuring-the-user-experience
Túñez López, M., & Nogueira, A. G. (2017). Infographics as a mnemonic structure: Analysis of the informative and identity components of infographic online compositions in iberic newspapers. Communication and Society, 30(1), 147-164. https://doi.org/10.15581/003.30.1.147-164
Ugras, T., Gülseçen, S., Çubukçu, C., Erdoğmuş, İ. İ., Gashi, V., & Bedir, M. (2016). Research trends in web site usability: A systematic review. En A. Marcus (Ed.), Design, User Experience, and Usability: Design Thinking and Methods (pp. 517-528). Springer International Publishing. https://link.springer.com/chapter/10.1007%2F978-3-319-40409-7_49
Unesco. (2019). UNESCO’s Internet universality indicators: A framework for assessing internet development. United Nations Educational, Scientific and Cultural Organization. https://unesdoc.unesco.org/ark:/48223/pf0000367617
Unión Europea. (2016). Reglamento general de protección de datos. Diario Oficial de la Unión Europea. https://europa.eu/!TJ96Hd
Usability.gov. (2013). Heuristic evaluations and expert reviews. Department of Health and Human Services. https://www.usability.gov/how-to-and-tools/methods/heuristic-evaluation.html
Yu, N., & Kong, J. (2016). User experience with web browsing on small screens: Experimental investigations of mobile-page interface design and homepage design for news websites. Information Sciences, 330, 427-443. https://doi.org/10.1016/j.ins.2015.06.004
Zambarbieri, D., Carniglia, E., & Robino, C. (2008). Eye tracking analysis in reading online newspapers. Journal of Eye Movement Research, 2(4). https://doi.org/10.16910/jemr.2.4.7