Skip to content Skip to sidebar Skip to footer

Case Study on Usability Evaluation in Costa Rica: A Dual Perspective

Several digitally emerging countries in Latin America are experiencing increases in user experience activities. This becomes evident when examining usability evaluations, which are relevant and strategic activities for software development organizations, as well as for software developers.

Usability evaluations are important for software development organizations because they provide benefits such as cost savings, increased sales, increased productivity, reduced training costs, and reduction of user technical support. Additionally, usability evaluations provide software developers with clear details about the usability issues in their software. This feedback is especially relevant for novice developers who normally are interested in cultivating their technical skills.

Perspectives on Usability Evaluation in Costa Rica

In this article, we merge the results of two survey studies developed in Costa Rica aimed at exploring the perspective of usability evaluation of software development organizations (35 organizations were invited; 26 completed the survey, with a response rate of 74%) and novice software developers (141 were invited; 72 completed the survey with a response rate of 51%).

The first aspect evaluated in both surveys was the understanding of the concept of usability evaluation. In order to achieve this, the surveys asked participants to define the concept of usability evaluation. The results showed a clear understanding about what usability evaluations are, especially in novice software developers. However, some answers appeared to be referring to another kind of testing. Figure 1 illustrates these results.

Chart (data is described in the following paragraph)
Figure 1. The dual perspective of understanding usability evaluation between novice developers and software development organizations.

This understanding is consistent with the level of experience with usability evaluations reported from the participants in the surveys. Once the participants provided their definitions of usability evaluation, we presented a definition based on the ISO-9241 standard. Considering this definition, most of the organizations reported two categories of strategy followed to conduct usability evaluations: internal (62%) and external (12%). Of the participants, 19% reported that they do not conduct usability evaluations according the ISO definition, and 8% did not respond. On the other hand, based on the ISO definition, most novice developers reported that they had participated in a usability evaluation (56% expressed a high level of agreement). Only 3% expressed a high level of disagreement.

Many of the advantages and disadvantages of usability evaluations are related to the methods used or organizational issues. However, the same users and software developers were cited in the surveys. Table 1 includes a summary of the results.

Table 1. Perspectives of advantages and disadvantages of usability evaluations. Results summary.

Related to… Advantages Disadvantages
Users / Customers
  • User acceptance
  • User satisfaction
  • User behavior
  • Test participants
Software developers
  • Increase developer’s competences
  • Software developer’s mindset
Method & organization
  • Product quality improvement
  • Competitiveness
  • Resource saving
  • Software design
  • Method (deficiency or absence)
  • Costs

The surveys show that for both organizations and novice developers, it is possible to find many similarities with other regions of the world in terms understanding the meaning of the usability evaluation concept, the advantages, and the disadvantages of such evaluations. In Latin America, those developing organizations that want to improve the application of usability evaluations should more consciously consider the role of users/clients and software developers; these are the main actors in these evaluations. Finally, in the case of Latin America, it is interesting to observe that novice software developers’ perspectives seem to contradict the general belief that the developer´s emphasis is in implementing efficient code. The surveys showed that both approaches of usability and efficient codification seem to be relevant for novice developers.

How Usability is Developing in Latin America

We think that it is possible to extend the results of these studies to other contexts in the Latin American region. The digitalization level and other human and economic indicators in Costa Rica are pretty similar to other countries (for example, Ecuador, Trinidad & Tobago, Panama, Peru, Brazil, and the Bolivarian Republic of Venezuela). The average Networked Readiness Index (NRI) in these countries (including Costa Rica) is 3.71 (SD=0.32) and the mean value for the Gross National Income (GNI) per capita based on purchasing power parity (PPP) (constant 2005 international $) is 12,051 (SD= 4,740). The average expected years of schooling is 9.05 (SD=2.21), and the mean value for life expectancy (years) is 74.81 (SD= 2.79). Key differences are related to population and territorial extension.

The dual perspective presented in this article becomes particularly useful in order to examine how usability evaluations are developing in the Latin American region. This helps identify common characteristics or behavioral patterns presented in the region, in order to compare them with digitally advanced countries. The idea is to obtain valuable feedback that could set the foundation for future enhancement activities that apply usability evaluation in digitally emerging countries.

这项案例研究基于在哥斯达黎加进行的两项调查,以独特观点介绍了在拉丁美洲可用性评估是如何进行的。通过针对软件开发组织和软件开发新手的调查,帮助我们认识了该区域共同的特点和行为模式,从而可以与数字化发达国家进行比较。

文章全文为英文版

코스타리카에서 실시된 두 차례 설문조사에 기반한 사례 연구는 라틴 아메리카에서 사용성 평가가 어떻게 실시되고 있는지에 관한 독특한 관점을 보여줍니다. 앞선 디지털 기술을 가진 나라들과 비교하기 위하여 소프트웨어 개발 회사와 신생 소프트웨어 개발자들을 대상으로 실시한 설문조사는 이 지역 일반적인 특성과 행동패턴을 찾아내는 데 도움을 주었습니다.

전체 기사는 영어로만 제공됩니다.

Um estudo de caso baseado em duas pesquisas conduzidas na Costa Rica apresenta uma perspectiva exclusiva sobre como as avaliações de usabilidade são conduzidas na América Latina.  As pesquisas, realizadas com organizações de desenvolvimento de software e desenvolvedores de software principiantes, ajudaram a identificar características comuns e padrões comportamentais na região para compará-los com países avançados digitalmente.

O artigo completo está disponível somente em inglês.

コスタリカで実施された2つのアンケート調査に基づくケーススタディは、ラテンアメリカにおけるユーザビリティ評価の実施方法に関する独自の視点を提示している。ソフトウェア開発会社およびソフトウェア開発の初心者を対象に実施されたこのアンケート調査は、デジタル化が進んだ国々と比較するための、この地域共通の特徴と行動パターンを特定するのに役立った。

原文は英語だけになります

Varios países digitalmente emergentes de América Latina están experimentando incrementos en actividades de experiencia del usuario. Esto se hace evidente cuando se examinan evaluaciones de usabilidad, que son actividades relevantes y estratégicas para organizaciones dedicadas al desarrollo de software, así como para los desarrolladores de software.

Las evaluaciones de usabilidad son importantes para organizaciones dedicadas al desarrollo de software porque proporcionan beneficios como ahorro de costos, aumento de ventas, aumento de productividad, baja de costos en formación, y reducción en el soporte técnico para el usuario. Adicionalmente, las evaluaciones de usabilidad proveen a los desarrolladores de software de detalles claros acerca de los problemas de usabilidad de sus softwares. Esta retroalimentación es especialmente relevante para desarrolladores principiantes que normalmente están interesados en mejorar sus habilidades técnicas.

Perspectivas de la Evaluación de la Usabilidad en Costa Rica

En este artículo unimos los resultados del estudio de dos encuestas realizadas en Costa Rica con el objetivo de explorar la perspectiva de la evaluación de la usabilidad de organizaciones dedicadas al desarrollo de software (35 organizaciones fueron invitadas; 26 completaron la encuesta, con una tasa de respuesta del 74%) y desarrolladores de software principiantes (141 fueron invitados; 72 completaron la encuesta con una tasa de respuesta del 51%).

El primer aspecto evaluado en ambas encuestas fue el entendimiento del concepto de evaluación de la usabilidad. Con el fin de lograr, las encuestas les pidieron a los participantes definir el concepto de evaluación de la usabilidad. Los resultados mostraron un entendimiento claro acerca de qué son las evaluaciones de usabilidad, especialmente en los desarrolladores de software principiantes. Sin embargo, algunas respuestas parecieron referirse a otros tipos de evaluaciones. La Figura 1 ilustra estos resultados.

Chart (data is described in the following paragraph)
Figura 1. La doble perspectiva de la comprensión de evaluación de la usabilidad entre desarrolladores principiantes y organizaciones dedicadas al desarrollo de software.

Esta comprensión es consistente con el nivel de experiencia con las evaluaciones de usabilidad informado por quienes participaron en las encuestas. Una vez que los participantes proporcionaron sus definiciones de la evaluación de la usabilidad, presentamos una definición basada en la norma ISO-9241. Teniendo en cuenta esta definición, la mayoría de las organizaciones reportaron que siguen dos estrategias para realizar las evaluaciones de usabilidad: interna (62%) y externa (12%). De los participantes, 19% informó que no realizan evaluaciones de usabilidad de acuerdo con la definición de la ISO, y el 8% no respondió. Por otra parte, sobre la base de la definición de la ISO, la mayoría de los desarrolladores principiantes informó que habían tomado parte en una evaluación de la usabilidad (56% expresó un alto grado de acuerdo). Sólo el 3% expresó un alto nivel de desacuerdo.

Muchas de las ventajas y desventajas de las evaluaciones de usabilidad están relacionadas con los métodos utilizados o problemas en las organizaciones. Sin embargo, los mismos usuarios y desarrolladores de software fueron citados en las encuestas. La Tabla 1 incluye un resumen de los resultados.

Tabla 1. Perspectivas de las ventajas y desventajas de las evaluaciones de usabilidad.  Resumen de los resultados.

Relacionadas a… Ventajas Desventajas
Usuarios / Clientes
  • Aceptación del usuario
  • Satisfacción del usuario
  • Comportamiento del usuario
  • Participantes de la prueba
Desarrolladores de software
  • Aumenta las competencias del desarrollador
  • Mentalidad del desarrollador de software
Método y organización
  • Mejora de la calidad del producto
  • Competitividad
  • Ahorro de recursos
  • Diseño de software
  • Método (deficiencia o ausencia)
  • Costos

Las encuestas muestran que tanto para organizaciones como para desarrolladores principiantes es posible encontrar muchas similitudes con otras regiones del mundo en términos de la comprensión del significado del concepto de evaluación de usabilidad, las ventajas, y las desventajas, de este tipo de evaluaciones. En América Latina esas organizaciones de desarrollo que quieren mejorar la aplicación de evaluaciones de usabilidad debieran considerar de manera más consciente el rol de los usuarios/clientes y desarrolladores de software; éstos son los principales actores en esta evaluaciones. Por último, en el caso de América Latina, es interesante observar que las perspectivas de los desarrolladores de software principiantes parecen contradecir la creencia general de que el énfasis del desarrollador está en la implementación de un código eficiente. Las encuestas mostraron que ambos enfoques, la usabilidad y la codificación eficiente, parecen ser relevantes para los desarrolladores principiantes.

Cómo la usabilidad se está desarrollando en América Latina

Pensamos que es posible ampliar los resultados de estos estudios a otros contextos en la región latinoamericana. El nivel de digitalización y otros indicadores económicos y humanos en Costa Rica son bastante similares a otros países (por ejemplo, Ecuador, Trinidad y Tobago, Panamá, Perú, Brasil, y la República Bolivariana de Venezuela). El promedio del Índice de Disposición para la Conectividad (Networked Readiness Index – NRI, por sus siglas en inglés) es en estos países (incluyendo Costa Rica) de 3,71 (DT=0,32) y el valor medio del Producto Nacional Bruto (PNB) per cápita basado en la paridad del poder adquisitivo (PPA) (US$ a precios constantes de 2005) es de 12.051 (DT= 4.740). El promedio de años de escolarización previstos es de 9,05 (DT= 2,21), y el valor medio de la esperanza de vida (años) es de 74,81 (DT= 2,79). Las principales diferencias están relacionadas con la población y extensión territorial.

La doble perspectiva presentada en este artículo se hace particularmente útil para examinar cómo las evaluaciones de usabilidad se están desarrollando en la región latinoamericana. Esto ayuda a identificar características comunes o patrones de comportamiento que se presentan en la región, con el fin de compararlos con los países avanzados digitalmente. La idea es obtener información valiosa que podría sentar las bases para futuras actividades de mejora que utilicen evaluación de la usabilidad en los países emergentes digitalmente.