"Tú no has visto nada": La historia detrás de los videojuegos que salen con bugs detectados por testers

Investigamos a PR, testers de videojuegos, productores, profesionales de prensa y desarrolladores para averiguar si los bugs son inevitables en los videojuegos modernos. Una oportunidad de profundizar en si llevan con nosotros desde siempre o son algo nuevo, cuál es su origen y cómo se podrían evitar… si es que es posible.

"Sí, ha habido bugs que han sido ignorados por necesidad del proyecto al ser inofensivos, muy difíciles de replicar y tener simultáneamente otras tareas más urgentes". "Recuerdo que algún juego de Interplay salió antes de tiempo por temas empresariales, fue cuando la industria del videojuego pasó de ser algo minoritario, creado por ‘artistas’ a ser una industria que facturaba más que el cine. Entraron inversionistas y gente ajena a la industria, que no entendían que sacar un juego sin ‘terminar’ es pan para hoy y hambre para mañana". "En este tema... prefiero no entrar demasiado en profundidad, porque no sé hasta qué punto podría romper el NDA (non disclosure agreement, el acuerdo de confidencialidad por el que no puedo hablar de específicos), pero la respuesta es... sí, se lanzan juegos al mercado a sabiendas de que tienen bugs críticos".

Estas son algunas de las respuestas que personas que se dedican a probar videojuegos antes de que salgan al mercado, y PR, me han dado sobre el tema que trato hoy. La industria del videojuego ha crecido mucho, muchísimo, en los últimos años. Los saltos tecnológicos son enormes generación a generación. Los jugadores exigen juegos largos, de infinitas posibilidades, y los desarrollos son cada vez más costosos y demandan un mayor tiempo en el horno, ¿se les concede todo el que necesitan? ¿Qué consecuencias tiene para los trabajadores y para los jugadores esta situación? Me hago todas estas preguntas en las fechas en las que Cyperpunk 2077 ha salido al mercado. Mientras escribo estas líneas, CD Projekt RED ha emitido un comunicado explicando que hasta febrero el juego no estará perfecto; pero se ha publicado en diciembre.

Para poder entender qué ha ocurrido, por qué se lanzan los videojuegos con bugs y de qué forma los estudios de desarrollo luchan contra ellos, me he reunido con testers, productores, desarrolladores y responsables de comunicación para la realización de un artículo que publicaré en dos partes. Esta es la primera, y centraré mi investigación en el trabajo de los que prueban los videojuegos antes de su lanzamiento. Necesito saber si los bugs en los videojuegos son inevitables, desde cuándo se nos obliga a los jugadores a hacer parte del papel de testers (sin tener formación en ello, por sorpresa y sin que nos pidan permiso), cómo se podría solucionar este problema y cómo se trabaja contra él. Gracias a este artículo he aprendido mucho de una profesión muy poco valorada y muy poco tratada por la prensa: los testers. Una figura que, como veréis, es de una importancia capital y apenas conocemos sus procesos, sus situaciones particulares y lo que ocurre cuando detectan un problema. Lo primero que hay que negar categóricamente es la falsa idea de que los que prueban videojuegos no tengan estudios, que ganen mucho dinero por su trabajo o que sea una labor sencilla de desarrollar. No todo el mundo vale para esto, están sujetos a horarios de trabajo estrictos, a métodos de testeo concretos y a metodologías organizativas que no están pensadas para que disfruten con lo que juegan, sino para que hagan su trabajo: detectar y reportar bugs.

¿Todos los bugs que encuentran los testers se corrigen?

Yolanda Cruz, antigua tester de GameHouse y externa para otra empresa en Inglaterra, estudió Ingeniería Multimedia en la Universidad de Alicante, y trabajaba ocho horas al día por un salario de 18.000 euros al año. Jordan lleva cuatro años estudiando diseño de videojuegos. Trabajó haciendo prácticas para Starbreeze Studios, sin cobrar, de 9:00 a 14:00. Toni Domínguez, tester para Ghost 1.0 y Caveman Warriors me explica: "el tema del sueldo siempre dependerá de la empresa y de tu experiencia. Por lo que he sabido, por gente del sector a nivel nacional, debería cotizarse mejor. Si bien mi perfil quería centrarse en programar, la labor de tester puede servir en muchos casos como puerta de entrada. Sobre si recomendaría trabajar de tester, de nuevo, depende. En mi caso, no me vería testeando videojuegos como actividad principal puesto que, al igual que muchos, quise entrar en el sector por pasión y esto puede quemarte de manera peligrosa y hacer que termines odiando tu hobby". Carlos Pérez Sempere me explica que su experiencia como tester que trabaja codo con codo con los desarrolladores (dev tester) para la división de móviles de una conocida empresa de desarrollo sí fue 100% positiva; en parte por lo que comenta Toni, porque le sirve para coger experiencia para lo que le interesa hacer en un futuro: trabajar como Game Designer.

Carlos me explica qué tiene que hacer un tester cuando detecta un bug: "una vez encontramos bugs, en función de lo críticos que sean, los developers deciden cuándo
y cómo arreglarlos. Lo usual es que, cuando estamos validando una build, aparezcan varios bugs de diferentes prioridades. Entonces el equipo se coordina para resolverlos en función de su prioridad y poder hacer una nueva build lo antes posible. Lo usual es que, a medida que una versión se va puliendo, los bugs van desapareciendo. A veces ha ocurrido que un problema que creíamos arreglado vuelve a las andadas desde las sombras, pero desde luego no es la norma." Pero, ¿cuándo comienza el trabajo de un tester? Jordan me cuenta su experiencia con Starbreeze, autores de la saga PayDay: "Una vez el juego tiene una base se empiezan las pruebas, tanto de movimientos del jugador, IA, y de cómo luce el juego. Normalmente, por las mañanas, venía nuestro superior y nos decia qué teniamos que testear ese día. A veces nos pasábamos días con el mismo problema hasta solucionarlo. La rutina solía ser: jugar buscando algún bug, grabarlo todo, anotarlo en las condiciones que pasaban, con qué personaje, con qué arma, en qué sitio) y subirlo al Excel. Íbamos cada día, cuando no había un problema concreto que buscar simplemente jugábamos hasta ver un bug nuevo o replicábamos bugs antiguos para ver si estaban solucionados en las nuevas versiones".

Cada empresa parece tener su propia forma de testear juegos. Jordan mencionó que en Starbreeze el testeo empieza cuando se tiene una base, es decir, en momentos muy prematuros del desarrollo. Sin embargo, en otros estudios se testea en fases más tardías. Yolanda Cruz me contó que "en GameHouse, por ejemplo, sí que nos llegaban los juegos prácticamente terminados para testear, pasaban el primer filtro de los testers de jugabilidad, que tenían que pasarse el juego entero varias veces de formas diferentes. Luego era el turno de los testers de release que testeaban su versión preparada para publicar. Estos últimos probaban cosas más técnicas, como que el juego se iniciase después de meterle el DRM, que funcionase en modo ventana, pantalla completa, que se podía minimizar y abrir, que no se quedaba abierto en memoria al cerrarlo con Alt + F4 y cosas así." Yolanda añade sobre los bugs detectados: "registramos los bugs que encontramos en una base de datos de bugs, normalmente JIRA, especificando su gravedad. Después de esto, esperamos a que el productor, junto con el manager y los seniors decidan si lo reportamos al estudio o si, simplemente no es posible por temas de tiempo y fechas límite".

"Este es el motivo por el que muchos bugs de grandes juegos pueden ser después encontrados por usuarios finales el día de salida. Recuerdo que una vez encontré un bug muy grave que te permitía conseguir puntuación infinita en un nivel. Cuando avisé al senior del bug que había encontrado vinieron tanto el productor como los managers y el resto del equipo a comprobarlo, ya que se trataba de un juego muy importante que estaba a puntísimo de salir. El productor cogió mi silla y me alejó del PC diciendo ‘déjalo déjalo, tú no has visto nada…’ ya que el juego tenía que salir unos días después y era imposible que nos pudieran mandar otra versión para la fecha. Y sí, con cada versión nueva de la build del juego que nos mandan, es posible que se haya roto otra cosa". Debo aclarar que Yolanda no se está refiriendo a su etapa con Gamehouse, sino a esa otra empresa con la que trabajó en Inglaterra y con la que tuvo una experiencia horrible, marchándose de ella a los cinco meses.

Carlos Pérez Sempre me dice que en su estudio esto no ocurre, "y si ocurriese sería por un error humano. Jamás lanzaríamos un juego sabiendo que contiene un bug crítico". Pero, ¿y un bug menos grave? Carlos me cuenta que "tenemos cierto poder para decidir cuándo, desde nuestro criterio, una versión es buena y cuándo no lo es. Hablando en lenguaje técnico, a esto se le llama dar un GO o un NO GO. En cualquier caso, y dependiendo de las circunstancias, los productores también pueden decidir asumir ciertos riesgos y negociar el GO con el equipo de Testers. Nuestro criterio se basa en múltiples factores. Por lo general los equipos de testeo cuentan con unas checklists que tienen que rellenarse en cada versión. Si una versión no cumple con esas checklists y con los estándares de calidad del equipo ya sea porque, por ejemplo, la feature principal está rota o hay un problema que afecta de forma importante a la experiencia del usuario, entonces no es apta.

Desde luego, el número de bugs/Crashes/exploits influye en esta decisión. Aunque más que el número, lo importante es la carga de ese problema. Un bug que afecta de forma crítica al usuario puede pesar más que 10 bugs gráficos en el escenario." Mario Escobar Rubio, tester lingüístico para la empresa Pole to Win, en Glasgow, declaró: "nuestra palabra tiene bastante peso, pues somos los que decimos si un producto puede o no salir en las condiciones en las que está... lo cual no quita que algún jefazo pueda desoír tus consejos y lanzar el producto incluso con el testeo a medias (...)."

Por lo que reconocen los testers, sí que hay videojuegos que se lanzan al mercado sabiendo que tienen bugs. Incluso dándose situaciones en el que estos bugs son críticos. Esto explicaría por qué el equipo de CD Projekt RED puede tener ya lista una hoja de ruta con todos los parches que pretende sacar de aquí a enero. Le pregunto a Mario si los propios testers pueden recomendar retrasar el juego: "podemos y solemos sugerir retrasos. Cierto juego que nos llegó para 2 o 3 meses se tuvo que retrasar hasta casi 8 meses porque la calidad era ínfima. Cuando salió al mercado, salió únicamente regulero, digamos. Los desarrolladores no tenían otra opción que retrasar el lanzamiento del título porque era inviable que saliera en esas condiciones. Por norma general, se suelen hacer rondas de feedback a los testers, preguntar cómo está, cómo lo ven y qué tal está todo en su conjunto. ¡A veces hasta nos preguntaban por la historia y si nos gustaría cambiar algo!"

Pero, ¿incluso aunque un tester recomiende un retraso, el videojuego puede acabar saliendo igualmente?. Me contesta Yolanda: "Sí, esto suele ocurrir con juegos que llevan muchos años en desarrollo, ya que es imposible arreglar todos los bugs cuando el juego ya es de una escala considerable y, aunque muchos se detectan, no es viable arreglarlos, mandar nueva build y volver a testear. Suele salir más rentable lanzarlo a sabiendas de estos bugs graves y no tan graves que se han quedado fuera de la planificación e intentar arreglarlo posteriormente con parches post-lanzamiento". Es decir, en opinión de los testers, es común que se lancen juegos con bugs al mercado, y la práctica de arreglarlos post-lanzamiento también. Es decir, no es que un estudio de desarrollo descubra que el juego está roto porque les avisan los fans a posteriori. Los testers ya han avisado. Teniendo esto en cuenta, he querido hablar con directores de estudio de videojuegos para comprender su perspectiva sobre estos temas.

¿Por qué se lanzan al mercado juegos con bugs detectados por testers?

A veces nos olvidamos de que los videojuegos son un negocio, son un producto que hay que vender para pagar nóminas. Esto explica que, muchas veces, haya que lanzar el título, esté como esté, cobrar e ir arreglándolo más adelante. Hablo con Fernando Prieto, socio y director general de Gato Studio. Este estudio de desarrollo de videojuegos coruñés ha lanzado recientemente The Waylanders en formato early access. Para que comprendáis lo caro que es mantener un estudio, Fernando me cuenta: "Hemos tenido 40 personas contratadas directamente en la empresa, a los que se añaden los consultores internacionales, en nuestro caso: guion y música, y las empresas subcontratadas, para ciertas tareas de producción y para la comunicación (...). Con todo esto sí, se puede decir que producir The Waylanders es caro, aunque su coste es un 25% de lo que costaría desarrollarlo en USA o Canadá. Los bugs y los retrasos me preocupan más desde el punto de vista de coste y de comunicación que desde el punto de vista del beneficio final. Los jugadores comprenden pocas veces lo complicado que es producir videojuegos, y en circunstancias como las actuales, mucho más." Ojo, 40 nóminas que dependen del lanzamiento de un proyecto y que sirven para explicar esa negociación de los testers con los productores para sacar, o no, ya, uno u otro videojuego. Por eso, Fernando apunta: "Siempre es mejor corregir bugs antes de lanzar, creo yo, pero alcanzar la perfección absoluta es difícil antes, porque hay tanta variedad de sistemas instalados que resulta complicado anticipar todas las posibles situaciones. Llega un momento en el que corregir un bug más sale muy caro en esfuerzo y tiempo, y es mejor lanzar."

Esto confirma lo que me contó Carlos. Con desarrollos tan caros y con tanto en juego, resulta imposible salir al mercado con todos los bugs solucionados, por lo que se realiza una negociación y se planifica un futuro calendario de arreglos menores. Quiero aclarar que The Waylanders no es un juego que sufra este tipo de problemas. Para empezar, porque sigue en early access. Fernando me estaba respondiendo en líneas generales.

¿Y cómo llevan esta cuestión los estudios más pequeños? Para responder a esta pregunta, charlé con Jasone Irastorza Aldama, cofundadora y PR de Main Loop, estudio formado por tres personas y por algún que otro colaborador adicional. En la actualidad se encuentran terminando el juego Itadaki Smash. Un estudio grande tiene capacidad para contratar testers, anunciar una fecha de lanzamiento y sobrevivir a los retrasos, pero, ¿y uno pequeño? Jasone me responde: "La decisión final (para anunciar la fecha de lanzamiento) es siempre nuestra y las elegimos según el presupuesto del estudio para poder pagar nóminas, ya que no queremos explotar a nadie. Para Itadaki Smash teníamos para un año de producción aproximado y por eso saldrá a principios de 2021." ¿Y pueden permitirse trabajar con testers? "Estrictamente hablando, no. Durante la mayor parte del desarrollo somos nosotros mismos los testers. A mitad de la producción lo mostramos a un pequeño grupo de amigos que tienen que ver con la industria y, a poco de finalizar, para pulirlo, se lo enseñamos a un grupo un poco más amplio de amigos que, además de tener diferentes roles en la industria también destacan en otros perfiles que nos interesan".

David Jaumandreu, director de Undercoders, me explica lo importante que es para un estudio pequeño cumplir con la fecha: “el periodo de lanzamiento suele estar ya muy acotado desde el momento en el que se da luz verde a un desarrollo. Tu proyecto tiene siempre recursos limitados (tanto si vas solo como con un publisher) y, por tanto, siempre existe una fecha límite para acabar el juego y, además, contar con el tiempo suficiente para preparar su salida a nivel de marketing y comunicación.” También los motivos por los que ellos tuvieron que retrasar su último lanzamiento: “Durante el desarrollo de SuperEpic, por desgracia, perdimos a un miembro clave del equipo, que se fue a trabajar a Japón, sufrimos retrasos de proveedores externos de arte, una baja durante varios meses por un problema personal y, justo al final, un problema de rendimiento que hacía que la versión de Switch se ralentizara cuando llevabas unas 4 o 5 horas de juego seguidas. Esto último nos llevó casi un mes solucionarlo… y, al final, resulta que era tan sencillo (y complicado, a la vez) como subir de versión de Unity.” También es muy relevante la figura del publisher, que es quién edita el juego e invierte en el equipo. Ellos también pueden cambiar la fecha en la que sacas tu juego: “cuando un publisher decide retrasar un lanzamiento, suele ser por un buen motivo. Si confías en él, seguramente la decisión acabe beneficiando a la parte desarrolladora, aunque no siempre es así. Un retraso puede dejarte con un problema importante de cashflow y, en ese caso, se deberían renegociar pagos y avances para que las nuevas fechas impacten en la menor medida posible al funcionamiento del estudio. Desgraciadamente, no siempre es posible.”

La solución de bugs, un problema de presupuesto

Sobre esta precariedad y este problema que relaciona lo económico con los retrasos y los bugs, le pregunto a Fernando Prieto si con más ayudas por parte del gobierno se podría solucionar esta situación: "estoy absolutamente convencido". Me responde. "No sólo yo, sino también gran parte del sector, como el que está asociado en DEV. No creo en las subvenciones, creo que adulteran el sector. Es muy difícil que la Administración sepa distinguir qué juegos deben recibir ayudas a fondo perdido y qué juegos no. Sin embargo, de los sistemas de deducciones y créditos fiscales se podría aprovechar cualquier empresa desarrolladora, y después es el mercado el que se encarga de decidir quién lo ha hecho bien y quién mal. Si el problema del sector es la falta de una financiación suficiente, porque no existen inversores especializados en España, ni tampoco analistas en banca que sepan identificar proyectos bien planteados, no lo vas a solucionar dando ayudas que cubren apenas el 5-10% de una producción mediana o grande. El Estado nos cobra impuestos, antes de que empecemos a vender, que superan el 30% del presupuesto de las producciones".

"Hay que hacer el sector atractivo a la inversión, especialmente a la extranjera, que debería de coaliarse con la inversión española para aportar el conocimiento que falta en España. Para eso necesitas medidas muy distintas de las actuales. Si tenemos en cuenta la competencia desleal que existe con otro sector cultural, como es el cine, se hace todavía más sangrante. ¿Por qué invertir en cine permite hoy en día acceder a deducciones fiscales del 35%, y el videojuego no puede? ¿Acaso aporta más empleo estable? ¿Se dirige a un segmento de la población más desprotegido como el empleo joven? No. Es únicamente porque tienen un lobby mucho más poderoso, se han trabajado el altavoz de la prensa y los medios, y lo usan de forma coordinada. El videojuego en España no sólo tiene el problema de la financiación, aunque es quizás el más importante. Falta estructura industrial, y eso se puede apoyar desde la Administración, con un plan a varios años vista que permita desarrollarla, o seguir como ahora, con medidas puntuales y sin continuidad a medio y largo plazo".

Encontrar testers con los que hablar no ha sido fácil, por eso le agradezco tanto a Carlos, Yolanda, Jordan y Toni sus respuestas tan sinceras y honestas. Mi opinión al respecto es que si es tan común esa negociación entre testers, productores y desarrolladores sobre qué bugs dejar pasar o no, si parece inevitable que los juegos lleguen con bugs por cuestiones económicas, e incluso viendo que es imposible solucionarlos todos por miedo a que se provoquen otros, ¿no tendríamos que poder contar con un listado de bugs a la hora de comprar un juego de lanzamiento? Porque lo que me queda claro es que esos problemas sí han sido detectados antes de la llegada del título a las tiendas. Necesitaríamos tener esta información, una que existe, una que los testers han preparado en un excel, para decidir si queremos ser compradores de día uno o si preferimos esperar, ¿no es esto más preferible que llevarte luego la sorpresa y verte obligado, como estudio, a iniciar una campaña de devoluciones de juegos que tanto daño hace a las distribuidoras? Para ahondar en esta cuestión, publicaré en pocos días en 3DJuegos otro artículo en el que hablo con productores, desarrolladores y profesionales que llevan más de 25 años en la industria. Muchas gracias por leer este texto y nunca olvides el poder que tienes para cambiar esta situación como consumidor.