FAQ: Тестирование нововведений в игре "Мир кораблей".

[Umbaretz]

Общая информация

 

Один из важных этапов разработки любой игры — тестирование нововведений. Как только принимается решение, что нужно ввести что-то новое, разработчики по готовящемуся или заранее готовому техническому заданию создают первую пробную версию задуманного. После этого проделанную работу нужно оценить и выявить ее недостатки . 

 

Тестирование — сложный процесс, который может быть организован по-разному и может меняться в зависимости от того, что именно разрабатывается. Но общая схема циклов разработки для всего в нашей игре примерно одинакова. В очень упрощенном виде она выглядит так:

 

1) Определяется потребность в фиче, создается ТЗ для разработки.

2) Создается пробная версия, производятся первые запуски, собираются результаты.

3) Создается вторая, доработанная версия, тестируется внутри студии, собираются результаты.

4) Создается третья версия, которая обычно проверяется уже на сервере общего теста или на отдельном тестовом сервере (как, например, новый геймплей авианосцев), собираются результаты.

 

 

Таким образом при разработке чего-либо фиче нужно пройти один и тот же круг.

• Разработка/доработка 
• Тестирование
• Сбор фидбека и статистики
• Разработка/доработка

 

Сколько таких циклов пройдет то или иное новшество до того, пока станет достаточно качественным, иногда предсказать сложно: он может запускаться снова и снова на одном и том же уровне много раз. Чем сложнее задуманное, тем сложнее будет добиться высокого качества и тем дольше может идти этот процесс.

 

Именно для того, чтобы выявить ошибки, устранить возможные проблемы и максимально приблизить задуманное к реальному, и происходят тесты. Проблемы, ошибки и баги при любых тестах — это норма, если их уже нет (либо они не критичны), то это значит, что фича уже готова и практически финализирована. До этого момента баги разной степени критичности встречаться будут, таков круг тестирования и разработки.

 

К сожалению, некоторые наши игроки, пробуя нововведения, которые, возможно, даже и не попадут на основной сервер, либо попадут в совершенно ином виде, могут не придавать значения этим процессам или не быть знакомыми с ними. Некоторые баги действительно могут затруднять тестирование, а сами нововведения на этапе тестов — казаться совершенного непродуманными и незаконченными. Это вызывает негативные эмоции у тестирующих, и они выливают их в сообщениях. Хорошо, если в отзывах содержатся аргументы, которые описывают причину негатива. Плохо, если этих аргументов нет, либо эти аргументы апеллируют именно к тому, что нужно протестировать и отладить. Какое может быть мнение о незаконченной песне или о недособранном автомобиле? Конечно, отрицательное: песня не звучит, а автомобиль еще без кресел и руля. Так и у нас.

 

Здоровая критика, аргументированное мнение о фиче, поиск багов и составление отчетов об ошибках — это хорошо и помогает улучшить игру. Неконструктивный негатив, эмоциональные сообщения, не содержащие объективной причины недовольства — это плохо и не помогает улучшить игру. Пожалуйста, помните об этом при составлении вашей обратной связи и заранее спасибо за ваш фидбек.

 

Если после прочтения у вас появились вопросы, то вполне возможно, что вы найдете ответы на них далее.

 

Ответы на вопросы

Скрытый текст

 

• Почему вы тестируете что-то, не "доведя это до ума" внутри студии?

Только массовым тестированием (не нагрузочным, а с помощью живых игроков, действующих непредсказуемо) можно выявить некоторые ошибки, баги, проблемы.  Внутренние тесты могут многого не показать.

 

• Что вы делаете с отзывами игроков о тестировании? Зачем они нужны?

Отзывы о нововведении от участников тестирования изучаются нашей командой. Отзывы и багрепорты — это источник информации, который помогает выявить ошибки, понять возникшие проблемы, увидеть, чего ожидает сообщество. Они помогают понять, куда стоит двигаться разработке в дальнейшем и чему стоит уделить особенное внимание.

 

• Почему вы не исправляете те ошибки, которые найдены, к следующему этапу тестирования? Я был на первом этапе, зашел на второй, а там все то же самое.

Не все ошибки возможно исправить сразу, некоторые из них не являются критичными и могут быть исправлены позже, поэтому останавливать тестирование из-за некритичных ошибок не имеет смысла. Если ошибка найдена, то в будущем она будет устранена, однако тестирование должно продолжаться — чтобы мы могли получить как можно больше информации и по другому контенту.. 

 

• Почему вы сразу не даете список багов, которые нужно проверить? Что именно мы должны искать?

Такого списка нет: если бы мы знали все баги и проблемы заранее, то тестирование было бы уже закончено. Обычно мы указываем в новости о старте ОТ, какие именно нововведения требуют вашей пристальной проверки. Перед тестированием не забудьте ознакомиться с его правилами. В отдельной статье или отдельной новости мы даем информацию о том, какую обратную связь мы ожидаем от участников.

 

• Почему нельзя просто обновить патчем уже существующий клиент, а нужно скачивать новый?

Тестовые клиенты, например, "общий тест", существуют отдельно от основного. Это два разных клиента, у них разное наполнение, отдельные сервера сильно отличаются друг от друга. Однако клиент общего теста, к примеру, нужно скачать один раз и потом только обновлять.

 

• Почему на основной сервер все равно выходят обновления с багами? Вы не можете устранить все еще на этапе тестирования?

Некоторые ошибки могут проявиться только после того, как они попадут на основной сервер игры. Одинаковая проверка на ошибку на тестовом сервере и на основном могут дать разные результаты.

 

• Зачем вводить новые механики, если есть текущие проблемы?

Игрокам, которые постоянно заходят в игру, хочется видеть новый контент и, в том числе новые механики, поэтому мы вводим их параллельно с исправлением текущих проблем. Кроме того, нововведения также могут быть призваны исправить текущие проблемы. В каждом конкретном случае мы объясняем, что и почему мы желаем изменить.

 

• В какой степени учитываются пожелания игроков при выборе новых фич к разработке и тестированию?

Пожелания игроков являются важным показателем, который может указать, куда именно стоит двигаться разработке. Но, конечно, это не единственный показатель, который учитывается при выборе дальнейшего курса. Есть три компонента, которые являются основными при выборе дальнейшего курса развития игры:

1) Статистика

2) Мнение сообщества

3) Наша позиция

Учитываются и принимаются во внимание все три, мнение сообщества — важный показатель, оно имеет серьезный вес и учитывается. Помимо форумных и Reddit-обсуждений в клиенте игры проводятся специальные опросы, которые помогают собрать мнения от игроков.

 

 

 

[CbIH_MAMIHOY_PODRyGi]

Сегодня в 12:42:44 пользователь deadmansgamble сказал:

Здоровая критика, аргументированное мнение о фиче, поиск багов и составление отчетов об ошибках — это хорошо и помогает улучшить игру. Неконструктивный негатив, эмоциональные сообщения, не содержащие объективной причины недовольства — это плохо и не помогает улучшить игру.

А кто определяет - здоровая критика или неконструктивный негатив?

[liytik]

Сегодня в 16:49:07 пользователь SILVER_DJ0N сказал:

А кто определяет - здоровая критика или неконструктивный негатив?

пункт первый-начальник всегда прав. Пункт второй. Если начальник не прав-смотри пункт первый

[Bybzeg]

Зачем тестировать перепил линкоров если вопрос решенный? Кому это все надо...

[anonym_NqG2q3ihFNN0]

Сегодня в 15:42:44 пользователь deadmansgamble сказал:

1) Определяется потребность в фиче, создается ТЗ для разработки.

А как определяется эта потребность ?

Когда будет известно, к примеру,  нужна ли игрокам запись реплеев из клиента игры? Без сторонних сайтов и плясок ?

 

Это лишь один из десятков примеров, но хотелось бы услышать ответ.

[CbIH_MAMIHOY_PODRyGi]

Сегодня в 12:53:42 пользователь liytik сказал:

пункт первый-начальник всегда прав. Пункт второй. Если начальник не прав-смотри пункт первый

Раз они создали эту тему, то наверное готовы отвечать на вопросы, шпоры подготовили, текстовую строку на мониторе с речью. А насчёт - начальник всегда прав, это даже под экспромт не подходит

[MaximFrost]

Эта тема для отвода глаз от будущих изменений?

Мы все тестировали, все были против. Всех выслушали, но решение все равно примем. А пока прочтите тему ещё раз! Отвлекает! 

[deadmansgamble]

Сегодня в 12:49:07 пользователь SILVER_DJ0N сказал:

А кто определяет - здоровая критика или неконструктивный негатив?

Для ответа на этот вопрос могу привести два примера (выдуманных, конечно же).

1. "При приближении к островам система оповещения не работает. Это никуда не годиться, так играть неудобно, мне не нравится!"
2. "Я зашел, мне все не понравилось, как такое можно было сделать? Если вы выпустите это на основу, то я уйду из игры!!1"

Первый - конструктивный, есть указание на конкретные ошибки. Второй - нет.

Сегодня в 12:55:26 пользователь TG_Maks сказал:

А как определяется эта потребность ?

Когда будет известно, к примеру,  нужна ли игрокам запись реплеев из клиента игры? Без сторонних сайтов и плясок ?

 

Это лишь один из десятков примеров, но хотелось бы услышать ответ.

О том как определяется потребность в той или иной фиче нужно скорее делать отдельную статью. ) Запись реплеев, например, является важной.

К тому же про "десятки примеров", есть десятки примеров того, что уже реализовали из того, что просили .

[Say_Alek]

Сегодня в 13:49:07 пользователь SILVER_DJ0N сказал:

А кто определяет - здоровая критика или неконструктивный негатив?

Всё очень просто - если разработчиков в ведении очередной, никому не нужной (или даже нужной) поддерживают, то это конструктив, а если пытаются спорить (с цифрами и выкладками), то это

 

Сегодня в 13:42:44 пользователь deadmansgamble сказал:

эмоциональные сообщения, не содержащие объективной причины недовольства 

 

[RenamedUser_70384512]

Зачем столько текста... картинкой же проще объяснить

[_BlackGarm_]

Сегодня в 16:42:44 пользователь deadmansgamble сказал:

 

 

Ответы на вопросы

  Скрыть содержимое

 

• Почему вы тестируете что-то, не "доведя это до ума" внутри студии?

Только массовым тестированием (не нагрузочным, а с помощью живых игроков, действующих непредсказуемо) можно выявить некоторые ошибки, баги, проблемы.  Внутренние тесты могут многого не показать.

 

• Что вы делаете с отзывами игроков о тестировании? Зачем они нужны?

Отзывы о нововведении от участников тестирования изучаются нашей командой. Отзывы и багрепорты — это источник информации, который помогает выявить ошибки, понять возникшие проблемы, увидеть, чего ожидает сообщество. Они помогают понять, куда стоит двигаться разработке в дальнейшем и чему стоит уделить особенное внимание.

 

• Почему вы не исправляете те ошибки, которые найдены, к следующему этапу тестирования? Я был на первом этапе, зашел на второй, а там все то же самое.

Не все ошибки возможно исправить сразу, некоторые из них не являются критичными и могут быть исправлены позже, поэтому останавливать тестирование из-за некритичных ошибок не имеет смысла. Если ошибка найдена, то в будущем она будет устранена, однако тестирование должно продолжаться — чтобы мы могли получить как можно больше информации и по другому контенту.. 

 

• Почему вы сразу не даете список багов, которые нужно проверить? Что именно мы должны искать?

Такого списка нет: если бы мы знали все баги и проблемы заранее, то тестирование было бы уже закончено. Обычно мы указываем в новости о старте ОТ, какие именно нововведения требуют вашей пристальной проверки. Перед тестированием не забудьте ознакомиться с его правилами. В отдельной статье или отдельной новости мы даем информацию о том, какую обратную связь мы ожидаем от участников.

 

• Почему нельзя просто обновить патчем уже существующий клиент, а нужно скачивать новый?

Тестовые клиенты, например, "общий тест", существуют отдельно от основного. Это два разных клиента, у них разное наполнение, отдельные сервера сильно отличаются друг от друга. Однако клиент общего теста, к примеру, нужно скачать один раз и потом только обновлять.

 

• Почему на основной сервер все равно выходят обновления с багами? Вы не можете устранить все еще на этапе тестирования?

Некоторые ошибки могут проявиться только после того, как они попадут на основной сервер игры. Одинаковая проверка на ошибку на тестовом сервере и на основном могут дать разные результаты.

 

• Зачем вводить новые механики, если есть текущие проблемы?

Игрокам, которые постоянно заходят в игру, хочется видеть новый контент и, в том числе новые механики, поэтому мы вводим их параллельно с исправлением текущих проблем. Кроме того, нововведения также могут быть призваны исправить текущие проблемы. В каждом конкретном случае мы объясняем, что и почему мы желаем изменить.

 

• В какой степени учитываются пожелания игроков при выборе новых фич к разработке и тестированию?

Пожелания игроков являются важным показателем, который может указать, куда именно стоит двигаться разработке. Но, конечно, это не единственный показатель, который учитывается при выборе дальнейшего курса. Есть три компонента, которые являются основными при выборе дальнейшего курса развития игры:

1) Статистика

2) Мнение сообщества

3) Наша позиция

Учитываются и принимаются во внимание все три, мнение сообщества — важный показатель, оно имеет серьезный вес и учитывается. Помимо форумных и Reddit-обсуждений в клиенте игры проводятся специальные опросы, которые помогают собрать мнения от игроков.

 

 

 

И по этому вы хотите убить пан азиата 10 лв и всю ветку ?

[Гость]

Сегодня в 11:14:52 пользователь deadmansgamble сказал:

Запись реплеев, например, является важной.

причем, все 3,25 года существования релиза игры

... и будет оставаться важной еще долгие-долгие годы.

[Marsh_light]

Здорово, что вы опубликовали такую статью, которая призывает к конструктивному диалогу. Нет, я серьезно.

 

Но есть тут одна неразрешимая проблема, упирающаяся в семантику слова "конструктивная". Говорю за себя, но подразумеваю, что такое направление мышления разделяют и многие другие игроки. Так вот, с точки зрения игрока конструктивной называется критика, которая аргументирована, обоснована и приведена с доказательствами или как минимум логическими выводами, основанными на практике, но с точки зрения разработчика к предыдущему определению добавляется еще и пункт "не противоречащая общей концепции". Вот мы и имеем, что конструктивная критика (с точки зрения игрока), направленная против изменения, разработчиками за конструктивную не считается. От этого игрок находит себя в интересном положении, встречая непонимание и осознавая собственное бессилие, несмотря на все старания, а не это не добавляет оптимизма. А попытки донести свою точку зрения еще более конструктивно встречают еще большую неприязнь со стороны разработчиков, что и может подтолкнуть часть игроков на переход в область как раз чисто эмоциональных и необоснованных негативных отзывов.  

 

Объяснение разработчиками своих решений, конечно же, может сильно облегчить понимание и снизить градус накала, но только тогда, когда их доводы воспринимаются игроками как логичные и адекватные, а если нет, то недовольство только растет. Причем недовольство от расхождения во мнениях между игроками и разработчиками растет в геометрической прогрессии, когда даже не особо заинтересованные люди видят, как на сопротивление сообщества Леста лишь упорнее внедряет свои задумки, из-за чего они могут легко экстраполировать ситуацию на себя, и в следующий раз уже они могут натолкнуться на такую же глухую стену непонимания, но уже в отношении важных для них изменений. Грубо говоря, сегодня взялись за авиководов, но я не авиковод а крейсеровод, но если завтра возьмутся за крейсера, то уже я окажусь в опале.

 

Опять же возвращаясь к аргументации, описанная мною история наглядно иллюстрируется возней вокруг авианосцев, что порождает заведомое отторжение к другим даже более мелким правкам, как с текущей переделкой урона по эсминцам от снарядов 280мм +. Поймите и вы, что людям тяжело сохранять спокойствие и всеми силами помогать разработчикам, когда они встречаются с полным непониманием и игнорированием своего мнения.

[anonym_NqG2q3ihFNN0]

Сегодня в 16:14:52 пользователь deadmansgamble сказал:

О том как определяется потребность в той или иной фиче нужно скорее делать отдельную статью. ) Запись реплеев, например, является важной.

К тому же про десятки примеров, есть десятки примеров того, что уже реализовали из того, что просили

Ну ждём тогда статью о том.

Важная, говорите вы ? А есть хотя бы ориентировочные даты, когда это будет внедрено ? В 2020 или позже ? Сам я тут недавно, но насколько я знаю, игроки давно хотят эту фичу.

А как этой опции не хватает вам самим...

Уже несколько раз я писал в теме про баги и неизменный ответ - давай реплей. 

Здорово же, так держать.

 

 

Сегодня в 16:14:52 пользователь deadmansgamble сказал:

К тому же про десятки примеров, есть десятки примеров того, что уже реализовали из того, что просили

И десятки примеров реализации того, чего игроки просили категорически не делать ?

[CEPBEP]

Сегодня в 12:42:44 пользователь deadmansgamble сказал:

Не все ошибки возможно исправить сразу, некоторые из них не являются критичными и могут быть исправлены позже

Это пять!

Как там фантомные БЗ?

---

А так, статья хорошая. +

[Say_Alek]

Сегодня в 14:21:53 пользователь TG_Maks сказал:

А есть хотя бы ориентировочные даты, когда это будет внедрено ?

Так у нас и на объединение голды были ориентировочные даты, которые отодвигались из-за неких "сугубо технических проблем".

[CbIH_MAMIHOY_PODRyGi]

Сегодня в 13:14:52 пользователь deadmansgamble сказал:

Сегодня в 12:49:07 пользователь SILVER_DJ0N сказал:

А кто определяет - здоровая критика или неконструктивный негатив?

Для ответа на этот могу привести два примера (выдуманных, конечно же).

1. "При приближении к островам система оповещения не работает. Это никуда не годиться, так играть неудобно, мне не нравится!"
2. "Я зашел, мне все не понравилось, как такое можно было сделать? Если вы выпустите это на основу, то я уйду из игры!!1"

Первый - конструктивный, есть указание на конкретные ошибки. Второй - нет.

Как Вы должны были заметить из моего вопроса я спрашивал - КТО определяет, а не примеры, которые естественно можно привести (выдумать) диаметрально противоположными, что бы видно было где чёрное, а где светлое. Однако в жизни есть и полутона, поэтому повторю вопрос - кто определяет что хорошо, что плохо?

[Гость]

Сегодня в 11:25:00 пользователь Say_Alek сказал:

Так у нас и на объединение голды были ориентировочные даты, которые отодвигались из-за неких "сугубо технических проблем".

Ну так, проблему-то решили.
Нет обещателя обьединения голды --> нет ориентировочных дат --> нет (сугубо-технических) проблем. :-)

[MaximFrost]

Сегодня в 13:14:52 пользователь deadmansgamble сказал:

О том как определяется потребность в той или иной фиче нужно скорее делать отдельную статью. ) Запись реплеев, например, является важной.

Если считается важным, чтож "буксуете" 3й год? А то ЦПП сразу для разбора требует реплей! А в случае, если придраться некчему, то указывают на это модовое изменение для сохранения реплея, как ломающее целостность клиента игры !

Вы там сами меж собой то разберитесь по вопросам важности, крайние пока только пользователи.

[Гость]

Сегодня в 11:42:44 пользователь deadmansgamble сказал:

Здоровая критика, аргументированное мнение о фиче, поиск багов и составление отчетов об ошибках — это хорошо и помогает улучшить игру. Неконструктивный негатив, эмоциональные сообщения, не содержащие объективной причины недовольства — это плохо и не помогает улучшить игру. 

 

Вы б, эта, сделали бы вообще выпадающий список дозволенной конструктивной критики, который только и могут использовать игроки без опасений, и не заморачивались.

Скрытый текст