Rewards and Pains: User Research in Brazil

On July 2013, Tim Brown, CEO of the world’s lead design company IDEO, wrote in the foreword of Design Transitions (Yee, Jefferies, and Tan) that the world is transitioning from designing with users to designing by users. Nevertheless, in Brazil, designing with users is still a big challenge. This is possibly because the local hierarchical, bureaucratic mindset and culture heavily affect the design and user experience industry. On one hand, the dynamic and sometimes unstable Brazilian culture requires Brazilians to be creative and adapt quickly to abrupt changes in economic, political, and social situations. On the other hand, Brazilians are bound by social conventions and have difficulty breaking these patterns, particularly in corporate settings. This creates a challenging environment to introduce user-centered design.

A cartoon showing text balloons with the objections covered in the text below. — Figure 1 – Five typical objections to UX research.

Background of UX Industry in Brazil

The UX industry in Brazil began late, toward the end of the 2000s. Consequently, the UX maturity level of most companies is still very low. Access to end-users is a luxury that most companies deny, perhaps fearing the setting of false customer expectations or exposing weaknesses in their own IT departments. However, most Brazilian end-users have widespread access to top technologies such as smartphones, tablets, and video games developed in other parts of the world where a positive user experience is no longer optional. As a result, their growing dissatisfaction with corporate systems and IT tools is becoming obvious to Brazilian companies.

In response, the reaction of most Brazilian companies is to hire a “UI expert” and ask them to “add usability to the system.” They expect the UI expert to take a finished or under-development system and beautify it—generally without reaching a single end-user in the target profile. For the length of the project the “UI expert” swims against project currents trying to do acceptable UX work.

Challenges in Demonstrating the Value of UX

At SAP we faced multiple challenges while providing user experience services and evangelizing UX to one of our largest customers. Our customer was a large company founded in the 1950s by then-President Getulio Vargas. This company has been an SAP customer for more than a decade and is one of the largest SAP customers in Latin America. It employs more than 60,000 people, including 5,000 IT staff, and approximately 150,000 IT contractors. Most employees and contractors are based in the southeastern state of Rio de Janeiro, which was influenced by Portuguese/Catholic culture and was the national capital until the 1960s. This is important to understand because hierarchy has strong roots in this region and consequently heavily influences corporate relationships. Hierarchical thinking created challenges for us to gain necessary approvals and finalize decisions to get access to end-users.

In 2011, the customer visited SAP Labs Latin America and, following our presentations, seemed delighted with the opportunity to improve the user experience of their SAP users. Next, we undertook a week long general proof-of-concept study and presented the results to the customer’s IT lead, himself a user for the chosen system. The customer’s IT lead reported that he had also experienced the issues we uncovered and agreed with our findings.

For the next year, we iteratively created a viable business model for this new type of SAP service. One of our challenges was operational: our UX department was not a revenue-generating department but had to estimate costs and scope for this project. To solve this, our SAP UX team and the SAP Custom Development team partnered in proposing the solution. Another challenge was customer buy-in: we realized that before the customer would agree to fund user experience improvements they must first agree that the UX issues were, in fact, creating negative user experiences. To solve this challenge we divided the project into two stages: a UX research study and a solution proposal, where the solution proposal would be approved depending upon customer satisfaction with the UX study results. The customer agreed to the two stages and our solution proposal was positively received.

Partnering with the Customer

The customer provided us with three of their team members and recruited 18 end-users for us, a collaboration that was vital to the project’s success. We were able to perform field research with end-users in three key profiles. Two of the customer team members worked with us full time during our research, observing studies in the observation room, assisting with synthesizing findings, and helping us understand the end-user workflow. Due to this collaboration our research findings and recommendations exceeded all expectations. We received very positive feedback from our customer and gained approval for following phases.

The success of this first project opened new doors for our team. New, similar projects arrived. One of those was a large logistics project involving eight groups of users, and was the very first project with user-centered design activities at the onset. For five months we conducted field research based on the customer’s business processes and system requirements. After we completed the field research we combined our research results with the business and technical requirements and held a Participatory Design (PD) workshop. Typically, PD is where developers, business representatives, and users work together to design a solution. In our case we used our user research results in place of actual users. Next, for each user group, we created mock-ups and validated these with end-users before finalizing the specification document. Following this, development and usability testing occurred.

Interestingly, this project was under negotiation with SAP for more than two years. When we added in user-centered design, we got the deal. After that other initiatives began to flourish. In 2013 our customer became a pioneer in using new SAP products created to foster better user experiences and improve customer satisfaction. We are currently working toward helping the customer build their own UX organization to enable them to move to the next level of UX maturity. They have the necessary managerial sponsorship to support their focus on improving user satisfaction. Additionally, with encouragement from our customer, other organizations are beginning to engage in this effort as well. This is very positive movement.

Cultural influences and low UX maturity played a significant role in creating the challenges we faced when introducing user centered design to Brazilian companies. After reflecting on our experience, we realized that this happens not only with the large customer we worked with, but also at many customers in our region and probably with customers all over the world. We also realized that end-users have decreased patience with a poor user experience because they regularly use products and services created by companies with mature UX practices. We learned that before our customers became supporters of user-centered design we had to evangelize the value of a positive user experience. We did this by initially undertaking research studies to carefully demonstrate the value of this positive experience to our customers. We also learned to spot the major ways in which companies discourage UX participation, and developed responses to overcoming these barriers (see below). We hope this encourages our UX colleagues to continue to expand our field in Brazil and Latin America.

Overcoming Objections to UX Research

Objection 1: “The user has no interest in giving feedback to the development team.”

Response: If the appropriate users with the correct profile are recruited and a skilled researcher interviews them, users are interested in providing feedback. They like having their voices heard and will tell you what they are trying to do and the difficulties they have using your product.

Objection 2: “The IT team knows exactly what users need.”

Response: Users are getting less and less indulgent with software systems since good user experiences with all kinds of products are becoming a differentiating factor. In addition, even when the IT team does know the business process, they still are IT people who think like IT people and perceive things with an IT mindset. This makes it impossible for them to anticipate everything that users will need and/or want.

Objection 3: “We don’t have a designer but we have a junior developer who can play that role.”

Response: Design is a discipline that requires a set of skills—including some soft skills—that are different from the skill set of a developer. A positive user experience is also more than just the user interface, as Dickerson said his article, “Seven Things your Boss Needs to Know About UX.” A successful user experience involves user research, interaction design, visual design, and a UX strategy.

Objection 4: “The customer ‘s project doesn’t have time to apply these research methods.”

Response: Good UX practices, including user research, have to be fully integrated in the product life cycle, complementing the requirements-gathering phase, and shortening the development cycle by significantly reducing rework and missed requirements. In the end the savings in rework and support, together with the increased quality and customer satisfaction, will compensate for any extra time, which is usually much less than the customer expects.

Objection 5: “You can’t talk to end-users because that will create too high expectations.”

Response: Talking to end-users is an art and a science. It requires the right skill set, and can be developed with techniques and practice. The researcher must make sure the user understands that although everything reported will be taken to the product team’s attention, no promises are being made. All customer feedback will be evaluated from a technological and business point of view.

[bluebox]

5 Research Hints for Introducing User Centered Design

Be flexible to avoid research bottlenecks. If you have to wait a long time to get approvals think about different alternatives. For example, setting up a test system and installing appropriate software (like Morae Observer) to support field work can take considerable time and can delay your tests. We found that running user tests in our production system was faster than creating a fake user with all permissions and data in our internal system.

Create a checklist for field research. When you finally receive permission to access end-users, review your checklist: double check the formal confirmation from every participant and that the mobile usability lab is up and running. Check for moderator and participant scripts, and any other additional documents like a copy of the non-disclosure agreement.

Keep technical people out of the test room. When running a usability test, sometimes ill-chosen words to the participant by a team member can ruin the test results. Participants no longer feel comfortable giving honest feedback because they worry they are being tested instead of the design.

End- user suggestions are exactly that. Although end-user involvement is fundamental to gathering the most insightful user needs, set appropriate expectations with your end-users by explaining beforehand that some of their suggestions or recommendations may not be reflected in the future solution due to business and technology constraints.

Do not schedule more than three participants per day. Remember that even with end-user confirmations, you might get no-shows. Recruit extra participants to fill these free time slots. Also, pay attention to researcher fatigue: after the third user, are they still gathering the same amount of information?

Partner with the customer. They can help the research team with communication, recruiting, remote observations, and synthesis sessions. We found it made a huge difference.

[/bluebox]

本文概述一个巴西团队在将以用户为中心设计融入巴西某大型公司的 SAP 解决方案时所遇到的挑战。由于用户体验成熟度低，团队必须克服管理层的反对以及组织内对用户体验较低的接受度。本文将介绍用户研究的技巧和窍门，并强调重视各项文化因素对建立牢固的以用户为中心设计的重要性。

文章全文为英文版

브라질 대기업을 위하여 사용자 중심 디자인을 SAP 솔루션에 통합한 브라질 팀이 당면한 문제 고찰 낮은 UX 성숙도로 인하여, 팀들은 조직 안에서 UX에 대한 경영상 반대와 낮은 수용도를 극복해야 했습니다. 이 기사는 확실한 사용자 중심 디자인을 개발하는 데 있어서 사용자 조사 팁을 제공하고, 사용자 조사와 관련된 잘못된 생각들을 밝히며, 문화적 고려 사항 포용의 중요성을 강조합니다.

전체 기사는 영어로만 제공됩니다.

Uma visão geral dos desafios enfrentados por uma equipe brasileira para integrar um projeto centrado no usuário em uma solução da SAP para uma grande empresa brasileira. Devido à pouca maturidade da experiência do usuário, as equipes precisam superar as objeções de gestão e a baixa receptividade à experiência do usuário dentro da organização. Este artigo fornece sugestões de pesquisa com usuários, expõe mitos de pesquisa com usuários e enfatiza a importância de aceitar considerações culturais para criar um sólido projeto centrado no usuário.

O artigo completo está disponível somente em inglês.

ここでは、あるブラジルの大企業のためのSAPソリューションにユーザー中心のデザインを導入したブラジルのチームが、どんな課題に直面したかについて概説する。UXの成熟度が低いことから、チームはUXに対する経営陣の反発や社内の受容力の低さを乗り越えなければならない。本稿はユーザーリサーチのティップスを提供するとともに、ユーザーリサーチにまつわる通説を浮き彫りにしつつ、確固たるユーザー中心のデザインを構築する上で文化的な考慮事項に取り組むことの重要性を強調する。

原文は英語だけになります

En julio de 2013 Tim Brown, director ejecutivo de la compañía líder mundial de diseño IDEO, escribió en el prólogo del libro Diseño Transitions (Yee, Jefferies y Tan) que el mundo está en transición desde el diseño con los usuarios al diseño por los usuarios. Sin embargo, en Brasil, el diseño con los usuarios sigue siendo un gran desafío. Esto es posiblemente debido a que la mentalidad y cultura locales, jerárquicas y burocráticas, afectan fuertemente a la industria del diseño y experiencia del usuario. Por una parte, la dinámica y a veces inestable cultura brasileña requiere que los brasileños sean creativos y se adapten rápidamente a abruptos cambios en las condiciones económicas, políticas y sociales. Por otro lado, los brasileños están limitados por convenciones sociales y tienen problemas para romper con estos patrones, sobre todo en entornos corporativos. Esto crea un ambiente difícil para insertar el diseño centrado en el usuario.

Alt text: Una caricatura que muestra los globos de texto con las objeciones que abordamos en el texto a continuación. — Figura 1 – Cinco objeciones típicas en la investigación de UX.

Antecedentes de la industria del diseño centrado en el usuario en Brasil

La industria de la UX en Brasil comenzó tarde, hacia el final de la década de 2000. En consecuencia, el nivel de madurez en UX de la mayoría de empresas sigue siendo muy bajo. El acceso a los usuarios finales es un lujo que la mayoría de las compañías niegan, quizás por temor a la creación de falsas expectativas a los clientes o a exponer las debilidades de sus propios departamentos de TI. Sin embargo, la mayoría de los usuarios finales brasileños tienen un amplio acceso a tecnologías de punta, como teléfonos inteligentes, tabletas y videojuegos desarrollados en otras partes del mundo, donde una experiencia positiva no es considerada una opción para el usuario. Como resultado, su creciente descontento con los sistemas corporativos e instrumentos de TI, se está volviendo cada vez más obvio para las empresas brasileñas.

En respuesta, la reacción de la mayoría de las empresas brasileñas es contratar a un “experto en la interfaz de usuario” y pedirles “añadir usabilidad al sistema”. Ellos esperan que el experto en interfaz de usuario tome un producto terminado o en desarrollo y lo embellezca, generalmente sin siquiera contactar a un solo usuario final del grupo objetivo. Durante lo que se extiende el proyecto, el “experto UI” nada contra las corrientes del proyecto intentando hacer un aceptable trabajo de UX.

Desafíos para demostrar el valor de UX

En SAP nos enfrentamos a múltiples desafíos mientras hemos prestado servicios de experiencia de usuario y evangelizado en UX a uno de nuestros clientes más importantes. Nuestro cliente era una empresa grande fundada en 1950 por el entonces presidente Getúlio Vargas. Esta compañía ha sido cliente de SAP por más de una década y es uno de los mayores clientes de SAP en América Latina. Emplea a más de 60.000 personas, incluyendo 5.000 de TI, y aproximadamente 150.000 contratistas de TI. La mayoría de los empleados y contratistas tienen su base en el estado sudoriental de Río de Janeiro, influenciado por la cultura portuguesa/católica, y fue la capital del país hasta la década de 1960. Es importante entender esto porque el poder tiene fuertes raíces en esta región y, en consecuencia, influye fuertemente en las relaciones empresariales. El pensamiento jerárquico generó desafíos para que pudiéramos obtener el necesario consentimiento para tener acceso a los usuarios finales.

En 2011, el cliente visitó SAP Labs Latin America y, tras nuestras presentaciones, pareció entusiasmado con la oportunidad de mejorar la experiencia de usuario de sus usuarios de SAP. A continuación, realizamos un estudio de prueba de concepto de una semana y presentamos los resultados al jefe de TI del cliente, él mismo era un usuario del sistema elegido. El jefe de TI del cliente aseveró que también había experimentado los problemas que habíamos descubierto y concordó con nuestros descubrimientos.

El año siguiente, de forma iterativa creamos un modelo de negocio viable para este nuevo tipo de servicio de SAP. Uno de nuestros retos era operacional: nuestro departamento de UX no era un departamento que generara ingresos, pero tuvo que estimar los costos y el alcance de este proyecto. Para resolver esto, nuestro equipo de SAP UX y el equipo de SAP Custom Development se asociaron para proponer una solución. Otro reto fue convencer al cliente: nos dimos cuenta de que antes de que el cliente estuviera de acuerdo con financiar mejoras en la experiencia de usuario, debía primero estar de acuerdo en que los problemas de UX estaban, de hecho, creando experiencias de usuario negativas. Para resolver este desafío dividimos el proyecto en dos etapas: un estudio de investigación de UX y una propuesta de solución, donde la propuesta de solución sería aprobada en función de la satisfacción del cliente con los resultados del estudio UX. El cliente estuvo de acuerdo con la propuesta de dos etapas y nuestra propuesta de solución fue recibida positivamente.

La asociación con el cliente

El cliente nos proporcionó tres de los miembros de su equipo y reclutó a 18 usuarios finales, una colaboración que fue vital para el éxito del proyecto. Fuimos capaces de realizar la investigación de campo con los usuarios finales en tres perfiles claves. Dos de los miembros del equipo del cliente trabajaron con nosotros a tiempo completo durante nuestra investigación, observando los estudios en la sala de observación, asistiéndonos a sintetizar los descubrimientos, y ayudándonos a comprender el flujo de trabajo del usuario final. Debido a esta colaboración los hallazgos y recomendaciones de la investigación superaron todas las expectativas. Recibimos una respuesta muy positiva por parte de nuestro cliente y conseguimos la aprobación para las fases siguientes.

El éxito de este primer proyecto abrió nuevas puertas para nuestro equipo. Llegaron nuevos proyectos similares. Uno de ellos fue un gran proyecto logístico que involucró a ocho grupos de usuarios, y fue el primer proyecto que desde el inicio tuvo actividades de diseño centrado en el usuario. Durante cinco meses llevamos a cabo una investigación de campo basada en los procesos de negocio del cliente y requerimientos del sistema. Después que completamos la investigación de campo, combinamos los resultados de investigación con los requerimientos técnicos y de negocio y realizamos un taller de diseño participativo (DP). Por lo general, el DP es donde los desarrolladores, representantes de las empresas y usuarios trabajan juntos para diseñar una solución. En nuestro caso usamos los resultados de nuestra investigación de los usuarios en lugar de usuarios reales. A continuación, para cada grupo de usuarios, creamos maquetas y las validamos con usuarios finales antes de finalizar el documento de especificación. Después de esto, realizamos el desarrollo y las pruebas de usabilidad.

Curiosamente, este proyecto estaba en fase de negociación con SAP por más de dos años. Cuando añadimos el diseño centrado en el usuario, cerramos el trato. Después de eso, otras iniciativas comenzaron a aparecer. En 2013 nuestro cliente se convirtió en un pionero en el uso de nuevos productos de SAP creados para fomentar una mejor experiencia de usuario y mejorar la satisfacción del cliente. Actualmente estamos trabajando para ayudar al cliente a formar su propia organización de UX, que les permita pasar al siguiente nivel de madurez de UX. Tienen el apoyo necesario de los ejecutivos para respaldar su enfoque en mejorar la satisfacción del usuario. Además, con el estímulo de nuestro cliente, otras organizaciones también están comenzando a participar de este esfuerzo. Este es un movimiento muy positivo.

Lecciones para superar los obstáculos

Las influencias culturales y baja madurez del campo de Experiencia de Usuario jugaron un papel significativo en los desafíos que enfrentamos cuando les presentamos el diseño centrado en el usuario a las empresas brasileñas. Después de reflexionar sobre nuestra experiencia, nos dimos cuenta que esto no sólo sucede con cliente grandes como con el que trabajamos, sino que también con muchos clientes en nuestra región y, probablemente, con clientes de todo el mundo. También nos dimos cuenta de que los usuarios finales tienen menos paciencia con una pobre experiencia de usuario porque regularmente utilizan productos y servicios creados por compañías que tienen prácticas maduras de UX. Aprendimos que, antes de que nuestros clientes se convirtieran en partidarios del diseño centrado en el usuario, teníamos que evangelizar acerca del valor de una experiencia de usuario positiva. Lo hicimos inicialmente con la realización de estudios de investigación para demostrar cuidadosamente el valor de esta experiencia positiva para nuestros clientes. También aprendimos a detectar las principales formas en que las empresas desalientan el uso de UX, y desarrollamos las respuestas para superar estas barreras (ver más adelante). Esperamos que esto anime a nuestros colegas del campo de Experiencia de Usuario a seguir ampliando nuestro campo en Brasil y América Latina.

Superando las objeciones a la Investigación de UX

Objeción 1: “El usuario no tiene interés en dar retroalimentación al equipo de desarrollo”.

Respuesta: Si los usuarios adecuados, con el perfil correcto, son reclutados y un investigador capacitado los entrevista, los usuarios están interesados en entregar retroalimentación. Les gusta que sus voces sean escuchadas y dirán lo que ellos están tratando de hacer y las dificultades que tienen usando el producto.

Objeción 2: “El equipo de TI sabe exactamente lo que necesitan los usuarios”.

Respuesta: Los usuarios son cada vez menos y menos complacientes con los sistemas de software desde que las buenas experiencias de usuario en todo tipo de productos se están convirtiendo en un factor diferenciador. Además, incluso cuando el equipo de TI sabe el proceso de negocio, siguen siendo gente de TI que piensa como la gente de TI y percibe las cosas con una mentalidad de TI. Esto hace imposible que puedan anticipar todo lo que los usuarios necesitan y/o quieren.

Objeción 3: “No tenemos un diseñador, pero tenemos un desarrollador junior que puede desempeñar ese papel”.

Respuesta: El diseño es una disciplina que requiere un conjunto de habilidades, incluyendo algunas habilidades blandas que son diferentes del conjunto de habilidades de un desarrollador. Una experiencia de usuario positiva es también algo más que la interfaz de usuario, como Dickerson dijo en su artículo “Siete cosas que su jefe necesita saber sobre UX”: Una experiencia de usuario exitosa implica la investigación del usuario, diseño de interacción, diseño visual, y una estrategia UX.

Objeción 4: “El proyecto del cliente no tiene tiempo para aplicar estos métodos de investigación”.

Respuesta: Las buenas prácticas UX, incluyendo la investigación de usuarios, tienen que estar plenamente integradas en el ciclo de vida del producto, complementando la fase de recopilación de requisitos, y acortando el ciclo de desarrollo al reducir significativamente la repetición de trabajo y requerimientos no satisfechos. Al final, el ahorro en la repetición de trabajo y soporte, junto con el aumento de la calidad y satisfacción del cliente, compensarán el tiempo extra, que suele ser mucho menor que lo que el cliente espera.

Objeción 5: “No se puede hablar con los usuarios finales, porque eso va a crear expectativas demasiado altas”.

Respuesta: Hablar con los usuarios finales es un arte y una ciencia. Se requiere el conjunto de habilidades preciso, y puede ser desarrollado con técnicas y práctica. El investigador debe asegurarse de que el usuario entienda que, a pesar de que todo lo que informe será llevado a la atención del equipo de producto, no se están haciendo promesas. Toda la retroalimentación del cliente será evaluada desde un punto de vista tecnológico y empresarial.