Resumen
Existen diversos métodos y herramientas para la evaluación de la calidad web que se han propuesto durante los últimos años. Son instrumentos que tienen su origen tanto en el contexto académico como profesional. Algunos son de carácter generalista y permiten evaluar cualquier tipo de sitio web, mientras que otros están especializados en sectores específicos. Este trabajo presenta un análisis de la producción científica existente sobre esta materia, con el objetivo de identificar las publicaciones más relevantes, conocer cuáles son los principales autores, así como el ámbito temático de los sitios web en los que focalizan su quehacer. Basándose en una triangulación de métodos de revisión, se examinaron 716 trabajos publicados entre 2000 y 2018 en Scopus, Web of Science y otras bases de datos. Además de la información bibliográfica, se recolectó la cantidad de citas recibidas, para lo cual se utilizó Google Scholar. También se categorizó el área del conocimiento al que pertenece cada autor según su afiliación. Entre los principales resultados se constata un creciente interés por la calidad web en una comunidad científica con presencia en más de 70 países. Sus autores provienen de variados dominios, siendo las ciencias de la computación, los negocios y la informática médica las que cuentan con mayor número de publicaciones. Los trabajos más citados corresponden a libros seminales de disciplinas relacionadas como la usabilidad, la arquitectura de información y la experiencia de usuario. En particular, a partir de 2007 aumenta el número de textos con instrumentos de evaluación para sitios de sectores específicos, como el educativo (33%), sanitario (27%) y comercial (21%). Se concluye que la calidad web es un campo de estudio en constante crecimiento, cada vez más especializado, y que ofrece amplias oportunidades de investigación.
Palabras clave: Calidad web, Sitios web, Análisis de la producción científica, Revisión bibliográfica sistematizada, Artículo de revisión, Heurísticos, Análisis expertos, Usabilidad, Contenidos, Experiencia de usuario, Estándares, Directrices.
Abstract
A range of different methods and tools have been proposed by both academics and professionals in recent years for evaluating the quality of websites. Some are of general application and can be used to assess any type of website, while others have been adapted to the specialized characteristics of the websites employed in a given sector. This paper undertakes an analysis of existing scientific production in this field, with the aim of identifying its most relevant publications, its principal authors and the specific sectors served by the sites under evaluation. By triangulating review methods, 716 texts, published between 2000 and 2018, were identified in Scopus, Web of Science and other databases and examined. In addition to basic bibliographic information, the number of citations received by each text was recorded using Google Scholar. The area of knowledge in which each author works was also categorized based on his or her specific affiliations. The results point to a growing interest in website quality in a scientific community that has a presence in more than 70 countries. Its authors are drawn from various disciplines, although the highest number of publications is recorded in computer science, business and medical informatics. The most frequently cited texts are in fact seminal books in the associated disciplines of usability, information architecture and user experience. However, as of 2007, the number of texts describing evaluation tools for the websites of specific sectors – most notably, education (33%), health (27%) and commerce (21%) – increased their share. In conclusion, it is evident that website quality is a field of study undergoing constant growth and increasing specialization and one that offers ample opportunities for research.
Keywords: Website quality; Websites; Scientific production analysis; Systematic literature review; Review article; Heuristics; Expert analysis; Usability; Contents; User experience; Standards; Guidelines
Introducción
A treinta años de su invención, la Web es el canal de comunicación más utilizado en la actualidad. Estimaciones sitúan en más de cien millones el número de sitios activos y con una cantidad de usuarios de más de la mitad de la población del planeta (Internet Live Stats, 2020).
De ahí la importancia de que los sitios web cumplan con principios básicos de calidad en aspectos como su contenido, organización, diseño visual de su interfaz y facilidad de uso, entre otros. Esta necesidad se ha mantenido independientemente de los continuos adelantos tecnológicos experimentados, como la web social o la web móvil.
Ante un escenario tan vasto y competitivo, los responsables de los sitios web precisan de orientaciones que
les ayuden a optimizarlos. En especial, los sitios de gran escala o intensivos en contenidos (Pérez-Montoro; Codina, 2017), que requieren de herramientas y guías específicas para la evaluación de su calidad.
Frente a esta demanda, tanto desde la academia como desde el ámbito profesional, han surgido numerosas propuestas expresadas en artículos de revistas, libros, estándares y directrices.
Este trabajo busca caracterizar esa literatura sobre evaluación de sitios web, con sus diferentes métodos e instrumentos, conocer sus principales autores e identificar el sector al cual están dirigidos. Todo, bajo la hipótesis de que con los años la calidad web se ha constituido en un campo de estudio particular, cada vez más interdisciplinario y especializado.
Definición de calidad web
El concepto de calidad es definido por la norma ISO 9000 como “grado en el que un conjunto de características inherentes de un objeto cumple con los requisitos” (ISO, 2015).
En ISO 9241-151 encontramos orientaciones sobre las interfaces de usuario de la World Wide Web, pero no una definición específica (ISO, 2008).
Aladwani y Palvia advertían que “la calidad web es un concepto muy indefinido” (Aladwani; Palvia, 2002, p. 468). Tras casi dos décadas, Semerádová y Weinlich (2020) constatan que pese a los numerosos estudios realizados en la materia, aún falta una definición uniforme de calidad web.
Olsina, Covella y Rossi indican que la calidad aplicada a la web es fácil de reconocer, pero difícil de definir y evaluar: “El significado de calidad no es simple y atómico, sino un concepto multidimensional y abstracto” (Olsina; Covella; Rossi, 2006, p. 109).
Los autores añaden que la evaluación de calidad web está sustentada en entidades y atributos. El atributo es una propiedad medible de una entidad. Por tanto, la calidad estaría dada por una relación abstracta entre los atributos de esas entidades y los objetivos de medición.
Por su parte, Anusha (2014) señala que la calidad web se puede medir desde dos perspectivas:
- programadores: se centran en el grado de mantenimiento, seguridad y funcionalidad;
- usuarios finales: prestan más atención a la usabilidad, la eficiencia y la credibilidad.
En la misma línea, Rocha (2012) separa su definición de calidad web en tres dimensiones:
- calidad del contenido
- calidad del servicio
- calidad técnica.
También de dimensiones hablan Hasan y Abuelrub (2011), pero identifican cuatro como criterios clave del concepto de calidad web:
- contenido
- diseño
- organización
- facilidad de uso.
Recogiendo estos antecedentes, y dado que no se ha encontrado una definición formal unificada,
proponemos denominar calidad web a la capacidad de un sitio web para satisfacer las expectativas de sus usuarios y propietarios, determinada por un conjunto de atributos medibles.
No hablamos de satisfacer necesidades, sino de expectativas, puesto que un sitio puede brindar un servicio, pero hacerlo generando frustración en sus usuarios o sin alcanzar las metas previstas por sus gestores.
Tampoco acotamos esta definición únicamente a las personas externas que navegan el sitio, sino a todas las partes interesadas, pues sus propietarios y gestores, por ejemplo, también lo usan y tienen expectativas sobre éste.
Además, se privilegia el término atributos sobre dimensiones o criterios, dado que aunque su identificación y selección se puede hacer en función de los intereses de la investigación, el concepto de atributo implica una condición o cualidad intrínseca del sitio.
Ahora bien, para efectos de este trabajo usaremos calidad web en un sentido amplio, como el campo disciplinar que estudia la evaluación de calidad de aspectos estratégicos, funcionales o técnicos y de contenido propios de los sitios web.
Marco teórico
La preocupación por la calidad de los sitios web surgió casi a la par de la creación de estos. Tempranamente profesionales del diseño de interfaces y la interacción persona-ordenador –como Nielsen (2000), Shneiderman (2000) y Norman (2002)– alertaron sobre la necesidad de que los sitios cumpliesen con ciertos atributos para garantizar una óptima experiencia de uso.
De esta manera nació la evaluación de la calidad web, descrita por Drǎgulǎnescu como un proceso complejo y crítico, que involucra conceptos tales como calidad, veracidad y precisión, y en el que “los juicios evaluativos son seguidos frecuentemente por importantes procesos de deliberación y toma de decisiones” (Drǎgulǎnescu, 2002, p. 247).
Existen diferentes aproximaciones, corrientes y métodos en la evaluación de la calidad en sitios web. En términos generales, estas pueden agruparse en dos grandes vertientes: los estudios de usuario y los análisis expertos (Codina; Pedraza-Jiménez, 2016).
Dentro de los primeros se han de destacar los trabajos referidos a la usabilidad web, que mide la facilidad en el uso de las interfaces (Nielsen, 2000; Norman, 2002). Se define como la capacidad de las aplicaciones web para soportar las tareas de suministro de información y servicios con efectividad, eficiencia y satisfacción (Matera; Rizzo; Carughi, 2006).
En una primera etapa su medición se realizaba únicamente de manera descriptiva. Con los años, la usabilidad web se apegó más al paradigma experimental, incorporando testeos con usuarios (Rubin; Chisnell, 2008) y metodologías cuantitativas basadas en la estadística (Sauro, 2010; Sauro; Lewis, 2012) y la recolección de métricas (Tullis; Albert, 2013).
Esta vertiente también adoptó métodos cualitativos provenientes de las ciencias sociales como encuestas,
observaciones y entrevistas; y del diseño de interfaces (Tidwell, 2006; Garrett, 2011). De esta manera, el concepto “usabilidad” evolucionó hacia lo que hoy conocemos como “experiencia de usuario” (user experience, UX), entendida como la percepción y las respuestas que un producto, sistema o servicio crea para las personas que lo utilizan.
La segunda vertiente de la evaluación de la calidad web privilegia los análisis expertos formulados y aplicados por profesionales de la información. Sus primeros formatos de expresión tomaron forma de heurísticas (Nielsen, 2005); principios (Tognazzini, 2014); recomendaciones (Krug, 2014); reglas (Shneiderman, 2016); directrices (Leavitt; Shneiderman, 2006) y estándares (Bevan, 2005).
Sin embargo, es con la evaluación heurística (Hassan-Montero; Martín-Fernández, 2003) con lo que el análisis experto encuentra un instrumento que permite su reproductibilidad. Formulados como puntos de verificación, listas de preguntas o listas de chequeo, son relativamente fáciles de aplicar y permiten comparar resultados entre varios sitios (Jiménez et al., 2012).
Las versiones más complejas de estos sistemas pueden incorporar diferentes dimensiones, tales como parámetros e indicadores, y permiten asignar puntajes. Sirven para estudios de caso y análisis comparados.
Algunas de estas herramientas son de uso general, es decir, para evaluar cualquier tipo de sitio (Codina, 2008), y otras están especializadas en un sector concreto, como el comercio electrónico o el turismo (Pedraza-Jiménez; Codina; Guallar, 2016).
Estos sistemas de análisis presentan distintos niveles de automatización (Hasan; Abuelrub, 2011): desde ser aplicados de manera manual por humanos expertos (Allen et al., 2006), a ser semiautomáticos mediante la ayuda de un software (Pribeanu, 2009; Afonso; Reis-Lima; Pérez-Cota, 2012) o de un modelo matemático para la toma de decisiones de criterios múltiples (Rekik; Kallel; Alimi, 2015), hasta funcionar de manera completamente automatizada sobre la base de la inteligencia artificial y el aprendizaje máquina o machine learning (Jayanthi; Krishnakumari, 2016).
Cabe mencionar también la existencia de una línea de evaluación de la calidad centrada en la efectividad del sitio web desde su concepción estratégica. Parte de la premisa de que aunque un sitio esté bien construido bajo criterios técnicos, este puede no responder al objeto para el cual ha sido ideado y fracasar en su cometido (Sanabre-Vives; Pedraza-Jiménez; Codina, 2018).
De ahí que surgieran modelos integrales como el cúbico planteado por Ramler et al. (2002), sistematizado luego por Calero, Ruiz y Piattini (2005) bajo el nombre Web Quality Model. Este integra y evalúa atributos de la web, características de calidad y su ciclo de vida (procesos).
Otros orientados a la estrategia son también:
- WebQual (Barnes; Vidgen, 2001);
- WebQual™ (Loiacono; Watson; Goodhue, 2002);
- Web Assessment Index (Hernández; Jiménez; Martín, 2009);
- Web Performance Index (Kaur; Gupta, 2014);
- Pequal (Wątróbski et al., 2016);
- Sistema de Análisis de Doble Entrada (SADE) (Sanabre-Vives; Pedraza-Jiménez; Vinyals-Mirabent, 2020).
Finalmente, aunque constituyen disciplinas propias, a esta línea de aspectos estratégicos podemos relacionar: webmetría (Thelwall, 2002; Orduña-Malea; Aguillo, 2014), que mide el impacto de un sitio en la web; posicionamiento en buscadores o SEO (search engine optimization) (Lopezosa, 2019); analítica web, que entre otros aspectos evalúa indicadores de desempeño o rendimiento (Cutroni, 2010; Clifton,
2012) como los KPIs (key performance indicators) (Kaushik, 2010), la tasa de conversiones o el retorno de la inversión o ROI (return on investment) (Tonkin; Whitmore; Cutroni, 2010).
(…)
Citación recomendada
Morales-Vargas, Alejandro, Pedraza-Jimenez, Rafael, & Codina, Lluís. (2020). Website quality: An analysis of scientific production [Calidad en sitios web: análisis de la producción científica]. Profesional de la Información, 29(5), e290508. https://doi.org/10.3145/epi.2020.sep.08
Enlaces
- Acceso al texto completo en castellano
- Access to full text in English
- Revista Profesional de la Información
Referencias bibliográficas
Abadal, Ernest; Guallar, Javier (2018). “Scientific production on interaction in digital news media”. In: Pérez-Montoro, Mario (ed.). Interaction in digital news media: From principles to practice. Palgrave Macmillan, pp. 175-191. ISBN: 978 3 319 96252 8 https://doi.org/10.1007/978-3-319-96253-5_8
Abdallah, Salam; Jaleel, Bushra (2015). “Website appeal: development of an assessment tool and evaluation framework of e-marketing”. Journal of theoretical and applied electronic commerce research, v. 10, n. 3, pp. 45-62. https://doi.org/10.4067/S0718-18762015000300005
Afonso, Ana-Paula; Reis-Lima, Jorge; Pérez-Cota, Manuel (2012). “A heuristic evaluation of usability of web interfaces”. In: 7th Iberian Conference on Information Systems and Technologies (CISTI 2012), pp. 1-6. https://ieeexplore.ieee.org/document/6263192
Agarwal, Ritu; Venkatesh, Viswanath (2002). “Assessing a firm’s web presence: A heuristic evaluation procedure for the measurement of usability”. Information systems research, v. 13, n. 2, pp. 168-186. https://doi.org/10.1287/isre.13.2.168.84
Aguillo, Isidro F.; Ortega, José-Luís; Fernández, Mario (2008). “Webometric ranking of world universities: introduction, methodology, and future developments”. Higher education in Europe, v. 33, n. 2-3, pp. 233-244. https://doi.org/10.1080/03797720802254031
Aladwani, Adel M.; Palvia, Prashant C. (2002). “Developing and validating an instrument for measuring user-perceived web quality”. Information & management, v. 39, n. 6, pp. 467-476. https://doi.org/10.1016/S0378-7206(01)00113-6
Allen, Mureen; Currie, Leanne M.; Bakken, Suzanne; Patel, Vimla L.; Cimino, James J. (2006). “Heuristic evaluation of paper-based web pages: a simplified inspection usability methodology”. Journal of biomedical informatics, v. 39, n. 4, pp. 412-423. https://doi.org/10.1016/J.JBI.2005.10.004
Anusha, R. (2014). “A study on website quality models”. International journal of scientific and research publications, v. 4, n. 12. http://www.ijsrp.org/research-paper-0115/ijsrp-p3768.pdf
Barnes, Stuart J.; Vidgen, Richard (2001). “An evaluation of cyber-bookshops: the webqual method”. International journal of electronic commerce, v. 6, n. 1, pp. 11-30. https://doi.org/10.1080/10864415.2001.11044225
Beredjiklian, Pedro K.; Bozentka, David J.; Steinberg, David R.; Bernstein, Joseph (2000). “Evaluating the source and content of orthopaedic information on the internet: the case of carpal tunnel syndrome”. The journal of bone and joint surgery, v. 82, n. 11, pp. 1540-1543. https://doi.org/10.2106/00004623-200011000-00004
Bevan, Nigel (2005). “Guidelines and standards for web usability”. In: Proceedings of the 11th International Conference on Human-Computer Interaction. Las Vegas (HCI International), pp. 22-27. https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.111.3463&rep=rep1&type=pdf
Bevan, Nigel; Carter, James; Harker, Susan (2015). “ISO 9241-11 Revised: What have we learnt about usability since 1998?”. In: Human-computer interaction: Design and evaluation, pp. 143-151. https://link-springer-com.sare.upf.edu/chapter/10.1007/978-3-319-20901-2_13
Bilsel, R. Ufuk; Büyüközkan, Gülçin; Ruan, Da (2006). “A fuzzy preference-ranking model for a quality evaluation of hospital web sites”. International journal of intelligent systems, v. 21, n. 11, pp. 1181-1197. https://doi.org/10.1002/int.20177
Booth, Andrew; Sutton, Anthea; Papaioannou, Diana (2016). Systematic approaches to a successful literature review. London: SAGE Publications Ltd. ISBN: 978 1 473912465
Calero, Coral; Ruiz, Julián; Piattini, Mario (2005). “Classifying web metrics using the web quality model”. Online information review, v. 29, n. 3, pp. 227-248. https://doi.org/10.1108/14684520510607560
Cao, Mei; Zhang, Qingyu; Seydel, John (2005). “B2C e-commerce web site quality: an empirical examination”. Industrial management & data systems, v. 105, n. 5, pp. 645-661. https://doi.org/10.1108/02635570510600000
Chiou, Wen-Chih; Lin, Chin-Chao; Perng, Chyuan (2010). “A strategic framework for website evaluation based on a review of the literature from 1995-2006”. Information & management, v. 47, n. 5-6, pp. 282-290. https://doi.org/10.1016/J.IM.2010.06.002
Chua, Alton Y. K.; Goh, Dion H; Ang, Rebecca P. (2012). “Web 2.0 applications in government web sites: prevalence, use and correlations with perceived web site quality”. Online information review, v. 36, n. 2, pp. 175-195. https://doi.org/10.1108/14684521211229020
Clifton, Brian (2012). Advanced web metrics with Google Analytics. Indianapolis, Indiana: John Wiley & Sons, Inc. ISBN: 978 1 118 16844 8
Codina, Lluís (2008). “Sistema general de análisis y evaluación de sitios web: parámetros e indicadores”. Metodología de análisis y evaluación de recursos digitales en línea. http://www.lluiscodina.com/wp-content/uploads/2014/04/indicadores_2008.pdf
Codina, Lluís (2018). Revisiones bibliográficas sistematizadas: procedimientos generales y framework para ciencias humanas y sociales. https://repositori.upf.edu/handle/10230/34497
Codina, Lluís; Pedraza-Jiménez, Rafael (2016). “Características y componentes de un sistema de análisis de medios digitales: el SAAMD”. En: Pedraza-Jiménez, Rafael; Codina; Lluís; Guallar, Javier (coords.). Calidad en sitios web: Método de análisis general, e-commerce, imágenes, hemerotecas y turismo. Barcelona: Editorial UOC, pp. 15-40. ISBN: 978 84 9064 487 4
Codina, Lluís; Pedraza-Jiménez, Rafael; Díaz-Noci, Javier; Rodríguez-Martínez, Ruth; Pérez-Montoro, Mario; Cavaller-Reyes, Víctor (2014). “Sistema Articulado de Análisis de Cibermedios (SAAC): Una propuesta sobre el qué y el cómo para estudiar medios de comunicación digitales”. Hipertext.net, n. 12. http://raco.cat/index.php/Hipertext/article/view/275560
Cutroni, Justin (2010). Google analytics. Sebastopol: O’Reilly Media, Inc. ISBN: 978 0 596 15800 2
Dey, Arindam; Billinghurst, Mark; Lindeman, Robert W.; Swan, J. Edward (2018). “A systematic review of 10 years of augmented reality usability studies: 2005 to 2014”. Frontiers in robotics and AI, v. 5. https://doi.org/10.3389/frobt.2018.00037
Díaz, Ediber; Arenas, Juan-Jesús; Moquillaza, Arturo; Paz, Freddy (2019). “A systematic literature review about quantitative metrics to evaluate the usability of e-commerce web sites”. In: Intelligent human systems integration 2019, pp. 332-338. https://doi.org/10.1007/978-3-030-11051-2_51
Drǎgulǎnescu, Nicolae-George (2002). “Website quality evaluations: Criteria and tools”. The international information & library review, v. 34, n. 3, pp. 247-254. https://doi.org/10.1006/iilr.2002.0205
Fernández, Adrian; Insfran, Emilio; Abrahão, Silvia (2011). “Usability evaluation methods for the web: A systematic mapping study”. Information and software technology, v. 53, n. 8, pp. 789-817. https://doi.org/10.1016/J.INFSOF.2011.02.007
Fernández-Cavia, José; Rovira, Cristòfol; Díaz-Luque, Pablo; Cavaller, Víctor (2014). “Web Quality Index (WQI) for official tourist destination websites. Proposal for an assessment system”. Tourism management perspectives, v. 9, pp. 5-13. https://doi.org/10.1016/j.tmp.2013.10.003
Fogli, Daniela; Guida, Giovanni (2015). “A practical approach to the assessment of quality in use of corporate web sites”. Journal of systems and software, v. 99, pp. 52-65. https://doi.org/https://doi.org/10.1016/j.jss.2014.09.006
Garrett, Jesse-James (2011). The elements of user experience: User-centered design for the web and beyond. Indianapolis: New Riders. ISBN: 978 0 321 68368 7
González-Sánchez, José-Luis; Montero-Simarro, Francisco; Gutiérrez-Vela, Francisco-Luis (2012). “Evolución del concepto de usabilidad como indicador de calidad del software”. El profesional de la información, v. 21, n. 5, pp. 529-536. https://doi.org/10.3145/epi.2012.sep.13
Gordon, Joye; Berhow, Susan (2009). “University websites and dialogic features for building relationships with potential students”. Public relations review, v. 35, n. 2, pp. 150-152. https://doi.org/10.1016/j.pubrev.2008.11.003
Gough, David; Oliver, Sandy; Thomas, James (2017). An introduction to systematic reviews. London: SAGE Publications Ltd. ISBN: 978 1 473929432 https://uk.sagepub.com/en-gb/eur/an-introduction-to-systematic-reviews/book245742#description
Grant, Maria J.; Booth, Andrew (2009). “A typology of reviews: an analysis of 14 review types and associated methodologies”. Health information & libraries journal, v. 26, n. 2, pp. 91-108. https://doi.org/10.1111/j.1471-1842.2009.00848.x
Hasan, Layla; Abuelrub, Emad (2011). “Assessing the quality of web sites”. Applied computing and informatics, v. 9, n. 1, pp. 11-29. https://doi.org/10.1016/j.aci.2009.03.001
Hassan-Montero, Yusef; Martín-Fernández, Francisco J. (2003). “Guía de evaluación heurística de sitios web”. No solo usabilidad, n. 2, 30 marzo. http://www.nosolousabilidad.com/articulos/heuristica.htm
Health On the Net Foundation (2017). “Principles: The HON code of conduct for medical and health web sites”. HONcode, p. 1. https://www.hon.ch/cgi-bin/HONcode/principles.pl
Hernández, Blanca; Jiménez, Julio; Martín, María-José (2009). “Key website factors in e-business strategy”. International journal of information management, v. 29, n. 5, pp. 362-371. https://doi.org/10.1016/j.ijinfomgt.2008.12.006
Hu, Yifeng; Shyam-Sundar, S. (2010). “Effects of online health sources on credibility and behavioral intentions”. Communication research, v. 37, n. 1, pp. 105-132. https://doi.org/10.1177/0093650209351512
Huang, Zhao; Benyoucef, Morad (2014). “Usability and credibility of e-government websites”. Government information quarterly, v. 31, n. 4, pp. 584-595. https://doi.org/10.1016/j.giq.2014.07.002
Huizingh, Eelko K. R. E. (2000). “The content and design of web sites: an empirical study”. Information & management, v. 37, n. 3, pp. 123-134. https://doi.org/10.1016/S0378-7206(99)00044-0
Internet Live Stats (2020). Internet usage & social media statistics. http://www.internetlivestats.com
ISO (2008). ISO 9241-151:2008. Ergonomics of human-system interaction. Part 151: Guidance on World Wide Web user interfaces. https://www.iso.org/standard/37031.html
ISO (2015). ISO 9000:2015. Quality management systems – Fundamentals and vocabulary. https://www.iso.org/obp/ui/#iso:std:iso:9000:ed-4:v1:es
Ivory, Melody Y.; Hearst, Marti A. (2001). “The state of the art in automating usability evaluation of user interfaces”. ACM computing surveys, v. 33, n. 4, pp. 470-516. https://doi.org/10.1145/503112.503114
Jayanthi, B.; Krishnakumari, P. (2016). “An intelligent method to assess webpage quality using extreme learning machine”. International journal of computer science and network security, v. 16, n. 9, pp. 81-85. http://paper.ijcsns.org/07_book/201609/20160913.pdf
Jiménez, Cristhy; Rusu, Cristian; Roncagliolo, Silvana; Inostroza, Rodolfo; Rusu, Virginica (2012). “Evaluating a methodology to establish usability heuristics”. In: 2012 31st International Conference of the Chilean Computer Science Society. IEEE, pp. 51-59. https://doi.org/10.1109/SCCC.2012.14
Jiménez-Iglesias, Lucía; Pérez-Montoro, Mario; Sánchez-Gómez, Lydia (2017). “Diseño de información digital: revisión y clasificación de indicadores heurísticos para contenidos web”. El profesional de la información, v. 26, n. 6, pp. 1029-1046. https://doi.org/10.3145/epi.2017.nov.03
Jowkar, Abdolrasoul; Didegah, Fereshteh (2010). “Evaluating Iranian newspapers’ web sites using correspondence analysis”. Library hi tech, v. 28, n. 1, pp. 119-130. https://doi.org/10.1108/07378831011026733
Karkin, Naci; Janssen, Marijn (2014). “Evaluating websites from a public value perspective: A review of Turkish local government websites”. International journal of information management, v. 34, n. 3, pp. 351-363. https://doi.org/10.1016/j.ijinfomgt.2013.11.004
Kaur, Satinder; Gupta, S. K. (2014). “Key aspects to evaluate the performance of a commercial website”. In: IJCA Proceedings on International Conference on Advances in Computer Engineering and Applications. Icacea, n. 1, pp. 7-11. https://www.ijcaonline.org/proceedings/icacea/number1/15608-1422
Kaushik, Avinash (2010). Web analytics 2.0: The art of online accountability & science of customer centricity. Wiley Publishing, Inc. ISBN: 978 0 470 52939 3
Kitchenham, Barbara; Charters, Stuart (2007). Guidelines for performing systematic literature reviews in software engineering. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.117.471
Krug, Steve (2014). Don’t make me think, revisited: A common sense approach to web and mobile usability. Berkeley, California: Pearson Education. ISBN: 978 0 321965516 http://sensible.com/dmmt.html
Lavrakas, Paul J. (2008). Encyclopedia of survey research methods. Thousand Oaks, CA: Sage Publications, Inc. ISBN: 978 1 412918084 https://doi.org/10.4135/9781412963947
Law, Rob; Qi, Shanshan; Buhalis, Dimitrios (2010). “Progress in tourism management: A review of website evaluation in tourism research”. Tourism management, v. 31, n. 3, pp. 297-313. https://doi.org/10.1016/j.tourman.2009.11.007
Leavitt, Michael O.; Shneiderman, Ben (2006). Research-based web design & usability guidelines. Washington, DC. ISBN: 0 16 076270 7 https://www.usability.gov/sites/default/files/documents/guidelines_book.pdf
Liu, Chang; Arnett, Kirk P. (2000). “Exploring the factors associated with web site success in the context of electronic commerce”. Information & management, v. 38, n. 1, pp. 23-33. https://doi.org/10.1016/S0378-7206(00)00049-5
Loiacono, Eleanor T.; Watson, Richard T.; Goodhue, Dale L. (2002). “WebQual: A measure of website quality”. In: American Marketing Association: Winter Marketing Educators’ Conference. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.86.4410&rep=rep1&type=pdf
Loiacono, Eleanor T.; Watson, Richard T.; Goodhue, Dale L. (2007). “WebQual: an instrument for consumer evaluation of web sites”. International journal of electronic commerce, v. 11, n. 3, pp. 51-87. https://doi.org/10.2753/JEC1086-4415110302
Lopezosa, Carlos (2019). SEO, periodismo y comunicación: conceptos, herramientas y procesos para optimizar la visibilidad web de los medios digitales. Tesis doctoral, Universitat Pompeu Fabra. http://hdl.handle.net/10803/668121
Maia, Camila-Loiola-Brito; Furtado, Elizabeth-Sucupira (2016). “A systematic review about user experience evaluation”. In: Marcus, Aaron (ed.). Design, user experience, and usability: Design thinking and methods, pp. 445-455. ISBN: 978 3 319 40408 0 https://doi.org/10.1007/978-3-319-40409-7_42
Mariage, Céline; Vanderdonckt, Jean; Pribeanu, Costin (2006). “State of the art of web usability guidelines”. In: Vu, Kim-Phuong L.; Proctor, Robert W. (eds.). Handbook of human factors in web design. Boca Raton: CRC Press Inc., pp. 688-700. ISBN: 978 1 4398 2594 5
Martín-Martín, Alberto; Orduña-Malea, Enrique; Thelwall, Mike; Delgado-López-Cózar, Emilio (2018). “Google Scholar, Web of Science, and Scopus: a systematic comparison of citations in 252 subject categories”. Journal of informetrics, v. 12, n. 4, pp. 1160-1177. https://doi.org/10.1016/j.joi.2018.09.002
Matera, Maristella; Rizzo, Francesca; Carughi, Giovanni-Toffetti (2006). “Web usability: Principles and evaluation methods”. In: Mendes, Emilia; Mosley, Nile (eds.). Web engineering. Berlin Heeidelberg: Springer-Verlag, pp. 143-180. ISBN: 978 3 540 28196 2 https://doi.org/10.1007/3-540-28218-1_5
Moher, David; Liberati, Alessandro; Tetzlaff, Jennifer; Altman, Douglas G.; The Prisma Group (2009). “Preferred reporting items for systematic reviews and meta-analyses: The Prisma statement”. PLoS medicine, v. 6, n. 7, p. e1000097. https://doi.org/10.1371/journal.pmed.1000097
Morville, Peter (2005). Ambient findability. Sebastopol, California: O’Reilly Media. ISBN: 0596007655 https://intertwingled.org/ambient-findability
Morville, Peter; Rosenfeld, Louis (2006). Information architecture for the World Wide Web. Sebastopol (California): O’Reilly. ISBN: 978 0 596527341
Nielsen, Jakob (2000). Designing web usability. Indianapolis, Indiana: New Riders. ISBN: 156205810X
Nielsen, Jakob (2005). “10 usability heuristics for user interface design”. Nielsen Norman Group, 24 April. https://www.nngroup.com/articles/ten-usability-heuristics
Nielsen, Jakob; Loranger, Hoa (2006). Prioritizing web usability. Berkeley, California: New Riders. ISBN: 978 0 321350312 https://www.nngroup.com/books/prioritizing-web-usability
Norman, Donald A. (2002). The design of everyday things. New York: Basic Books. ISBN: 0465067107
Olsina, Luis; Covella, Guillermo; Rossi, Gustavo (2006). “Web quality”. In: Mendes, Emilia; Mosley, Nile (eds.). Web engineering. Berlin, Heidelberg: Springer-Verlag, pp. 109-142. ISBN: 978 3 540 28196 2 https://doi.org/10.1007/3-540-28218-1_4
Orduña-Malea, Enrique; Aguillo, Isidro F. (2014). Cibermetría: midiendo el espacio red. Barcelona: Editorial UOC. ISBN: 978 84 9064 233 7
Palmer, Jonathan W. (2002). “Web site usability, design, and performance metrics”. Information systems research, v. 13, n. 2, pp. 151-167. https://doi.org/10.1287/isre.13.2.151.88
Park, Young A.; Gretzel, Ulrike (2007). “Success factors for destination marketing web sites: a qualitative meta-analysis”. Journal of travel research, v. 46, n. 1, pp. 46-63. https://doi.org/10.1177/0047287507302381
Pedraza-Jiménez, Rafael; Codina, Lluís; Guallar, Javier (2016). Calidad en sitios web: Método de análisis general, e-commerce, imágenes, hemerotecas y turismo, Barcelona: Editorial UOC. ISBN: 978 84 9064 487 4
Pérez-Montoro, Mario; Codina, Lluís (2017). Navigation design and SEO for content-intensive websites: a guide for an efficient digital communication. Cambridge, MA: Chandos Publishing – Elsevier. ISBN: 978 0 081006771 http://www.sciencedirect.com/science/book/9780081006764
Pribeanu, Costin (2009). “A usability assistant for the heuristic evaluation of interactive systems”. Studies in informatics and control, v. 18, n. 4, pp. 355-362. https://sic.ici.ro/a-usability-assistant-for-the-heuristic-evaluation-of-interactive-systems
Quiñones, Daniela; Rusu, Cristian (2017). “How to develop usability heuristics: a systematic literature review”. Computer standards & interfaces, v. 53, pp. 89-122. https://doi.org/10.1016/J.CSI.2017.03.009
Ramler, Rudolf; Weippl, Edgar; Winterer, Mario; Schwinger, Wieland; Altmann, Josef (2002). “A quality-driven approach to web testing”. In: Proceedings of ICWE’02 Conference, pp. 81-95. https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.216.6925&rep=rep1&type=pdf
Rekik, Rim; Kallel, Ilhem; Alimi, Adel M. (2015). “Quality evaluation of web sites: a comparative study of some multiple criteria decision making methods”. In: 15th International Conference on Intelligent Systems Design and Applications (ISDA), pp. 585-590. ISBN: 978 1 4673 8709 5 https://ieeexplore.ieee.org/abstract/document/7489183
Rekik, Rim; Kallel, Ilhem; Casillas, Jorge; Alimi, Adel M. (2018). “Assessing web sites quality: a systematic literature review by text and association rules mining”. International journal of information management, v. 38, n. 1, pp. 201-216. https://doi.org/10.1016/J.IJINFOMGT.2017.06.007
Rocha, Álvaro (2012). “Framework for a global quality evaluation of a website”. Online information review, v. 36, n. 3, pp. 374-382. https://doi.org/10.1108/14684521211241404
Rodríguez-Martínez, Ruth; Codina, Lluís; Pedraza-Jiménez, Rafael (2012). “Indicadores para la evaluación de la calidad en cibermedios: análisis de la interacción y de la adopción de la web 2.0”. Revista española de documentación científica, v. 35, n. 1, pp. 61-93. https://doi.org/10.3989/redc.2012.1.858
Rubin, Jeffrey; Chisnell, Dana (2008). Handbook of usability testing: How to plan, design, and conduct effective tests. Indianapolis, Ind.: Wiley. ISBN: 978 0 470185483
Sanabre-Vives, Carles; Pedraza-Jiménez, Rafael; Vinyals-Mirabent, Sara (2020). “Double-entry analysis system for comprehensive quality evaluation of websites: case study in the tourism sector”. Profesional de la información, v. 29, n. 4, e290432. https://doi.org/10.3145/epi.2020.jul.32
Sanabre-Vives, Carles; Pedraza-Jiménez, Rafael; Codina, Lluís (2018). “Website canvas model: propuesta de un modelo visual para la ideación estratégica de sitios web”. Revista española de documentación científica, v. 41, n. 4, p. 221. https://doi.org/10.3989/redc.2018.4.1542
Sauro, Jeff (2010). A practical guide to measuring usability: Quantifying the usability of websites and software. CreateSpace. ISBN: 978 1 453806562
Sauro, Jeff; Lewis, James R. (2012). Quantifying the user experience: practical statistics for user research. Waltham, MA: Elsevier / Morgan Kaufmann. ISBN: 978 0 123849687
Semerádová, Tereza; Weinlich, Petr (2020). “Looking for the definition of website quality”. In: Semerádová, Tereza; Weinlich, Petr. Website quality and shopping behavior: Quantitative and qualitative evidence. Springer Nature, pp. 5-27. ISBN: 978 3 030 44439 6 https://doi.org/10.1007/978-3-030-44440-2_2
Shneiderman, Ben (2000). “Universal usability”. Communications of the ACM, v. 43, n. 5, pp. 84-91. https://doi.org/10.1145/332833.332843
Shneiderman, Ben (2016). “The eight golden rules of interface design”. Department of Computer Science, University of Maryland. https://www.cs.umd.edu/users/ben/goldenrules.html
Tapia-León, Mariela (2015). “Factores de calidad en sitios web de destinos turísticos: estado de la cuestión”. Hipertext.net, n. 13. https://doi.org/10.2436/20.8050.01.23
Thelwall, Mike (2002). “Conceptualizing documentation on the web: an evaluation of different heuristic-based models for counting links between university web sites”. Journal of the American Society for Information Science and Technology, v. 53, n. 12, pp. 995-1005. http://doi.wiley.com/10.1002/asi.10135
Thelwall, Mike; Kousha, Kayvan (2015). “Web indicators for research evaluation. Part 1: Citations and links to academic articles from the web”. El profesional de la información, v. 24, n. 5, pp. 587-606. https://doi.org/10.3145/epi.2015.sep.08
Tidwell, Jenifer (2006). Designing interfaces: Patterns for effective interaction design. Cambridge, MA: O’Reilly. ISBN: 0596008031
Tognazzini, Bruce (2014). “First principles of interaction design (revised and expanded)”. Ask TOG: Interaction design solutions for the real world. https://asktog.com/atc/principles-of-interaction-design
Tonkin, Sebastian; Whitmore, Caleb; Cutroni, Justin (2010). Performance marketing with Google Analytics: Strategies and techniques for maximizing online ROI. ISBN: 978 0 470578315
Tullis, Thomas; Albert, William (2013). Measuring the user experience: Collecting, analyzing, and presenting usability metrics. Morgan Kaufmann. ISBN: 978 0 123735584
Ugras, Tuba; Gülseçen, Sevinç; Çubukçu, Ceren; Erdoğmuş, İpek İli; Gashi, Vala; Bedir, Merve (2016). “Research trends in web site usability: A systematic review”. In: Marcus, Aaron (ed.). Design, user experience, and usability: Design thinking and methods. Springer, pp. 517-528. ISBN: 978 3 319 40409 7 https://doi.org/10.1007/978-3-319-40409-7_49
Unesco (2018). Unesco’s internet universality indicators: A framework for assessing internet development. Paris: United Nations Educational, Scientific and Cultural Organization. ISBN: 978 92 3 100314 1 https://unesdoc.unesco.org/ark:/48223/pf0000367617
Wątróbski, Jarosław; Ziemba, Paweł; Jankowski, Jarosław; Wolski, Waldemar (2016). “Pequal. E-commerce websites quality evaluation methodology”. Annals of computer science and information systems, v. 8, pp. 1317-1327. https://doi.org/10.15439/2016F469
Webster, Jane; Watson, Richard T. (2002). “Analyzing the past to prepare for the future: Writing a literature review”. MIS quarterly, v. 26, n. 2, pp. xiii-xxiii. http://www.jstor.org/stable/4132319
Yin, Robert K. (2015). Qualitative research from start to finish. London: The Guilford Press. ISBN: 978 1 462517978 https://www.guilford.com/books/Qualitative-Research-from-Start-to-Finish/Robert-Yin/9781462517978