FAQ: Тестирование нововведений в игре "Мир кораблей".

[GhostBow]

  В 15.11.2018 в 09:42:44 пользователь deadmansgamble сказал:

Проблемы, ошибки и баги при любых тестах — это норма, если их уже нет (либо они не критичны), то это значит, что фича уже готова и практически финализирована. До этого момента баги разной степени критичности встречаться будут, таков круг тестирования и разработки.

Следует все же помнить и иметь ввиду (совершенно на мой взгляд справедливое) утверждение:

"Тестирование программ может использоваться для демонстрации наличия ошибок, но оно никогда не покажет их отсутствие" (с)Э.Дейкстра

 

З.Ы. Просто вспомнилось, почему-то...

[Гость]

  В 15.11.2018 в 10:37:19 пользователь GhostBow сказал:

"Тестирование программ может использоваться для демонстрации наличия ошибок, но оно никогда не покажет их отсутствие" (с)Э.Дейкстра

Именно поэтому ни одна софтина не может декларировать себя, как безошибочная (потому как невозможно доказать, что она будет работать "при абсолютно любом раскладе")

[GhostBow]

  В 15.11.2018 в 10:42:53 пользователь ermanec сказал:

Именно по этому ни одна софтина не может декларировать себя, как безошибочная (потому как невозможно доказать, что она будет работать "при абсолютно любом раскладе")

Именно так. Даже если допустить, что безошибочные софтины вообще существуют ))

[AK_100]

Господа разработчики, на протяжении 3 -х лет Вы уже много много раз показали и доказали, что никакие отзывы не смогут повлиять на принятое Вами решение об изменениях.

Форум и его посетители, по Вашим заявлениям, всего лишь немногочисленная прослойка игроков, мнение которой ничего не значит. 

[anonym_jkygexHd73zC]

  В 15.11.2018 в 11:01:14 пользователь AK_100 сказал:

Господа разработчики, на протяжении 3 -х лет Вы уже много много раз показали и доказали, что никакие отзывы не смогут повлиять на принятое Вами решение об изменениях.. 

Может не стоит так резко говорить о том чего не знаешь?

[terminator_le]

  В 15.11.2018 в 10:14:52 пользователь deadmansgamble сказал:

Первый - конструктивный, есть указание на конкретные ошибки. Второй - нет.

Являются ли конструктивными предложения ни в коем случае не вводить ужасную (по мнению значительного количества игроков) новую концепцию авианосцев?

Достаточно ли было "здоровой критики, аргументированного мнения" против этих нововведений?

Ну и является ли "неконструктивным негативом" реакция на полное игнорирование пожеланий, критики и аргументов?

[anonym_MfH77ypSUMDk]

  В 15.11.2018 в 11:34:13 пользователь andrei54fdh сказал:

Может не стоит так резко говорить о том чего не знаешь?

Приведите пример обратного.

[AK_100]

  В 15.11.2018 в 11:34:13 пользователь andrei54fdh сказал:

Может не стоит так резко говорить о том чего не знаешь?

В отличии от Вас знаю

  В 26.10.2018 в 07:34:17 пользователь Umbaretz сказал:

Все наши действия направлены на развитие продукта и, если для этого необходимо изменить или внести какую-то механику, которая не понравится игрокам – к сожалению, мы будем её вводить.

 

[deadmansgamble]

  В 15.11.2018 в 10:26:16 пользователь SILVER_DJ0N сказал:

Как Вы должны были заметить из моего вопроса я спрашивал - КТО определяет, а не примеры, которые естественно можно привести (выдумать) диаметрально противоположными, что бы видно было где чёрное, а где светлое. Однако в жизни есть и полутона, поэтому повторю вопрос - кто определяет что хорошо, что плохо?

Мы (разработчики) читаем если не все, то почти все отзывы о нововведениях, искать грань в полутонах не стоит, и мы этим не занимаемся. Не учитываются обычно только совсем "пустые" отзывы, в которых нет никакого указания на то, что именно нравится/не нравится. Большая часть комментариев почти всегда содержит отсылки к каким-либо конкретным проблемам, т.е. имеет конструктив, чему мы очень рады. Нам важно понять, что нравится игрокам, а что нет.

 

Если вы хотите прямой ответ на вопрос "Кто именно определяет что хорошо, а что плохо", отвечаю -  никто не "определяет, что хорошо, а что плохо". Мы читаем и знакомимся с мнением сообщества. Неконструктивный негатив не содержит никакого указания на то, что именно не нравится/кажется неправильным. Если такое указание есть - то сообщение уже содержит аргументы.

 

О негативе я уже писал: при тестировании чего-либо могут возникать неполадки, ошибки, баги. Это нормально, так как как-раз именно для того, чтобы эти ошибки устранить тест, обычно, и затевается. Если быть еще более конкретным, то приведем примеры отзывов о какой-либо несуществующей новой механике (разворот на якоре например).

 

Неконструктивный негатив:

• "Фу отстой полный, не вводите это в игру, зачем вы это сделали? Это сломает рандом!"

В этом комментарии непонятно ничего: ни что именно не нравится, ни почему "это сломает рандом". Т.е. сообщение фактически "пустое". Конечно такая реакция  - тоже реакция, но писать её во время тестов нет смысла, механика еще не готова, она вполне может не нравится на этом этапе.

 

Негатив с отсылкой к фактам:

• "Фу отстой полный, не вводите это в игру, зачем вы это сделали? Это сломает рандом! Теперь ЛК бояре будут постоянно уворачиваться от торпед и жить очень долго, а это сломает баланс."

В этом сообщении все так же есть негатив, однако он подкреплен описанием того, что именно не нравится и почему игрок не хочет, чтобы это попало в игру в таком виде. Такой комментарий уже полезен и дает почву для размышлений.

 

Негатив с отсылкой к множеству фактов:

• "Фу отстой полный, не вводите это в игру, зачем вы это сделали? Это сломает рандом! Теперь ЛК бояре будут постоянно уворачиваться от торпед и жить очень долго, а это сломает баланс. И вот еще несколько фактов почему так делать нельзя:

1. Факт 1
2. Факт 2
3. Факт 3

Вывод: факт 1+факт 2+ факт 3 = сломанный баланс."

 

Факты без негатива:

• "Теперь ЛК бояре будут постоянно уворачиваться от торпед и жить очень долго, а это сломает баланс. И вот еще несколько фактов почему так делать нельзя:

1. Факт 1
2. Факт 2
3. Факт 3

Вывод: факт 1+факт 2+ факт 3 = сломанный баланс."

 

Каждый игрок имеет право высказать свои как позитивные, так и негативные эмоции. Однако читать факты (как в последнем варианте) проще, быстрее, сразу понятно без дополнительных объяснений что именно не нравится. 

 

А еще есть и такой вариант:

 

Факты + пожелания:

• "Теперь ЛК бояре будут постоянно уворачиваться от торпед и жить очень долго, а это сломает баланс. И вот еще несколько фактов почему так делать нельзя:

1. Факт 1
2. Факт 2
3. Факт 3

Вывод: факт 1+факт 2+ факт 3 = сломанный баланс."

Лучше всего в этом случае сделать вот так:

• Вариант #1, или вот так
• Вариант #2

А какой бы вы хотели видеть диалог с сообществом, если бы были разработчиком?

[deadmansgamble]

  В 15.11.2018 в 12:01:45 пользователь BYBLOS сказал:

 

Очень похоже . Только там внутри должно быть больше людей.

[77100]

  Показать содержимое

  В 15.11.2018 в 09:42:44 пользователь deadmansgamble сказал:

 

 

Тестирование —  В очень упрощенном виде она выглядит так:

 

1) Определяется потребность в фиче, создается ТЗ для разработки.

2) Создается пробная версия, производятся первые запуски, собираются результаты.

3) Создается вторая, доработанная версия, тестируется внутри студии, собираются результаты.

4) Создается третья версия, которая обычно проверяется уже на сервере общего теста или на отдельном тестовом сервере (как, например, новый геймплей авианосцев), собираются результаты.

  Показать содержимое

 

• Почему вы тестируете что-то, не "доведя это до ума" внутри студии?

Только массовым тестированием (не нагрузочным, а с помощью живых игроков, действующих непредсказуемо) можно выявить некоторые ошибки, баги, проблемы.  Внутренние тесты могут многого не показать.

 

• Что вы делаете с отзывами игроков о тестировании? Зачем они нужны?

Отзывы о нововведении от участников тестирования изучаются нашей командой. Отзывы и багрепорты — это источник информации, который помогает выявить ошибки, понять возникшие проблемы, увидеть, чего ожидает сообщество. Они помогают понять, куда стоит двигаться разработке в дальнейшем и чему стоит уделить особенное внимание.

 

• Почему вы не исправляете те ошибки, которые найдены, к следующему этапу тестирования? Я был на первом этапе, зашел на второй, а там все то же самое.

Не все ошибки возможно исправить сразу, некоторые из них не являются критичными и могут быть исправлены позже, поэтому останавливать тестирование из-за некритичных ошибок не имеет смысла. Если ошибка найдена, то в будущем она будет устранена, однако тестирование должно продолжаться — чтобы мы могли получить как можно больше информации и по другому контенту.. 

 

• Почему вы сразу не даете список багов, которые нужно проверить? Что именно мы должны искать?

Такого списка нет: если бы мы знали все баги и проблемы заранее, то тестирование было бы уже закончено. Обычно мы указываем в новости о старте ОТ, какие именно нововведения требуют вашей пристальной проверки. Перед тестированием не забудьте ознакомиться с его правилами. В отдельной статье или отдельной новости мы даем информацию о том, какую обратную связь мы ожидаем от участников.

 

• Почему нельзя просто обновить патчем уже существующий клиент, а нужно скачивать новый?

Тестовые клиенты, например, "общий тест", существуют отдельно от основного. Это два разных клиента, у них разное наполнение, отдельные сервера сильно отличаются друг от друга. Однако клиент общего теста, к примеру, нужно скачать один раз и потом только обновлять.

 

• Почему на основной сервер все равно выходят обновления с багами? Вы не можете устранить все еще на этапе тестирования?

Некоторые ошибки могут проявиться только после того, как они попадут на основной сервер игры. Одинаковая проверка на ошибку на тестовом сервере и на основном могут дать разные результаты.

 

• Зачем вводить новые механики, если есть текущие проблемы?

Игрокам, которые постоянно заходят в игру, хочется видеть новый контент и, в том числе новые механики, поэтому мы вводим их параллельно с исправлением текущих проблем. Кроме того, нововведения также могут быть призваны исправить текущие проблемы. В каждом конкретном случае мы объясняем, что и почему мы желаем изменить.

 

• В какой степени учитываются пожелания игроков при выборе новых фич к разработке и тестированию?

Пожелания игроков являются важным показателем, который может указать, куда именно стоит двигаться разработке. Но, конечно, это не единственный показатель, который учитывается при выборе дальнейшего курса. Есть три компонента, которые являются основными при выборе дальнейшего курса развития игры:

1) Статистика

2) Мнение сообщества

3) Наша позиция

Учитываются и принимаются во внимание все три, мнение сообщества — важный показатель, оно имеет серьезный вес и учитывается. Помимо форумных и Reddit-обсуждений в клиенте игры проводятся специальные опросы, которые помогают собрать мнения от игроков.

 

 

 

 

я как обычно задам ,дурацикий,вопрос и как обычно накидаете десятки минусов.
а почему бы вам систему не сломать?
1-определяете потребность в фиче.
2- тестируете её с альфа и бета игроками(устраняете недочёты-ошибки)
3-выводите на основу с литерой А(альфа выпуск)
4-учитываете запросы ОСНОВНОЙ массы(корректируете)и оставляете как надо и так по кругу.
а то у вас фичу единицы(учитывая соотношение тостер,на один бой,-ради плюшек и основной игрок вне теста)тестируют.

 

[BYBLOS]

  В 15.11.2018 в 12:06:11 пользователь deadmansgamble сказал:

А какой бы вы хотели видеть диалог с сообществом, если бы были разработчиком?

Нужно выпустить один-два патча ,составленные исключительно "по желаниям игроков".

[Say_Alek]

  В 15.11.2018 в 12:06:11 пользователь deadmansgamble сказал:

А какой бы вы хотели видеть диалог с сообществом, если бы были разработчиком?

Обсуждение с сообществом самой необходимости введения той или иной, нужной, как вам кажется, фичи (со взаимными птицами Обоснуй) - подойдёт.

[terminator_le]

  В 15.11.2018 в 12:06:11 пользователь deadmansgamble сказал:

А какой бы вы хотели видеть диалог с сообществом, если бы были разработчиком?

1. откровенный, прежде всего. не нужно пытаться прикрыть истинные причины тех или иных действий "благими намерениями". контингент игры, в подавляющем большинстве, вполне зрелый и достаточно разумный. не стоит пытаться разговаривать с нами как с 16-18 -летней аудиторией

2. итеративный. т.е. "принимающий решения" должен появляться не раз в квартал, чтобы заняться "damage control" в тот момент, когда эмоции уже зашкаливают, а вести регулярный и планомерный диалог. именно диалог, а не единственный пост с "подведением фактов"

3. подкрепленный фактами. данные "статистики" должны приводиться регулярно, а не раз в год (естественно в рамках того, что можно разглашать). 

4. с опорой на игроков, которые умеют играть и делают это регулярно, т.к. именно их мнение "выстрадано" тысячами боев в самых разных условиях на самой разнообразной технике. такой опыт нельзя извлечь из сухих цифр "средней температуры по больнице".

 

 

[K_O_C_A_T_K_A_]

Разработчики молодцы, вижу что действительно готовы к диалогам и обсуждениям. 

Только я понимаю, что осбуждать некоторые изменения не имеет смысла, т.к. их ввод в игру в том или ином лишь вопрос времени, и получается что мнение разработчиков окончательное и изменению не подлежит не смотря на общественное мнение большинства.

[terminator_le]

  В 15.11.2018 в 12:37:08 пользователь K_O_C_A_T_K_A_ сказал:

Разработчики молодцы, вижу что действительно готовы к диалогам и обсуждениям. 

рано судить. очень хотелось бы надеяться, что это так и есть

пока я вижу, что пришло понимание, что они "посеяли ветер" и всходы не за горами

[anonym_NqG2q3ihFNN0]

  В 15.11.2018 в 12:06:11 пользователь deadmansgamble сказал:

А какой бы вы хотели видеть диалог с сообществом, если бы были разработчиком? 

Для начала разработчики могли бы вывесить список нововведений, которые  планируют внедрить.

К примеру, те же реплеи, опция показа полученных наград, опция "снять все сигналы" и куча разной мелочи, которой так не хватает.

К каждому сопроводительную информацию : сколько времени это может занять, все подробности по поводу того, как это планируются реализовать, почему одна опция стоит в большем приоритете, чем другая.

Или даже создать отдельную тему на каждую фичу, с комментариями игроков о том, как бы они это хотели видеть.

 

Разумеется, это лишь как вариант диалога отдела разработки с игроками.

 

 

И да, может, ответите на этот мой пост ?

  Показать содержимое

 

 

[CbIH_MAMIHOY_PODRyGi]

  В 15.11.2018 в 12:06:11 пользователь deadmansgamble сказал:

какой бы вы хотели видеть диалог с сообществом, если бы были разработчиком?

Во первых - спасибо за развёрнутый ответ.

Во вторых - факты, что приводят игроки Вы учитываете все, или только те которые не противоречат Вашим статистическим данным, а остальные становятся субъективным мнением игроков?

[Ferrimagnetic]

  В 15.11.2018 в 12:21:33 пользователь terminator_le сказал:

1. откровенный, прежде всего. не нужно пытаться прикрыть истинные причины тех или иных действий "благими намерениями". контингент игры, в подавляющем большинстве, вполне зрелый и достаточно разумный. не стоит пытаться разговаривать с нами как с 16-18 -летней аудиторией

2. итеративный. т.е. "принимающий решения" должен появляться не раз в квартал, чтобы заняться "damage control" в тот момент, когда эмоции уже зашкаливают, а вести регулярный и планомерный диалог. именно диалог, а не единственный пост с "подведением фактов"

 

 

Имхо, очень тяжело вести диалог с полусотней человек да ещё и в печатном виде. Причем знатная часть из них приводит аргументы уровня 16-18 лет.

  В 15.11.2018 в 12:21:33 пользователь terminator_le сказал:

подкрепленный фактами. данные "статистики" должны приводиться регулярно, а не раз в год (естественно в рамках того, что можно разглашать). 

Эх влегрис, влегрис на кого ж ты нас покинул)

[Herr_Krabbe]

  В 15.11.2018 в 12:53:19 пользователь SILVER_DJ0N сказал:

Во первых - спасибо за развёрнутый ответ.

Во вторых - факты, что приводят игроки Вы учитываете все, или только те которые не противоречат Вашим статистическим данным, а остальные становятся субъективным мнением игроков?

к сожалению, у нас могут быть только личные данные, которые не могут считаться статистически достоверными из-за малой выборки, а вот у разработчика статистика всеобъемлющая и с этим даже не поспоришь, но хотелось бы тоже есть голубцы...