Мение/Предложение. Программа тестирования производительности на основе World of Warships

[del32358027]

Доброго товарищи форумчане, и все кто не очень. ©

 

Мнение "отдела" QA я уже узнал по этому вопросу. Доводы были понятны и обоснованы, но я не был бы собой если бы не написал про это на форуме. ))

 

И так...

Давайте предположим, что вы купили новый компьютер, переустановили ОС (обновили), поменяли комплектующие, или просто поставили новые драйвера...ну или может давно не играли, или даже просто решили ознакомится с игрой. Для этого придется качать ее полностью, для этого придется ждать установки, разбираться в игре, а так же возможны проблемы при самой игре.

 

Факторы:

11 Гб для скачки

Отсутствие 100 Мбит за 200 рублей в месяц

Свободное время для установки

Свободное пространство на диске

Отсутствие навыков по настройке игры.

Возможные проблемы из-за слабого железа или отсутствующих файлов.

Любой из этих факторов негативно сказывается на восприятии, но если они комбинируются, то вызывают раздражение и негодование.

 

Основной идеей было создании тестовой программы.

Например на карте 40*40 км. 

В определенном месте встречаются 12 кораблей (по 6 с каждой стороны). Почему по 6, а не 12? В бою очень редко бывает, что в каком-то месте сходится и по 6 кораблей (что бы все были в зоне видимости), кроме того многое зависит не только от отрисовки корабля, но и уровнивой детализации (лодов). Так, что 12 (общее) кораблей на "площадке" 10*10 км, более чем достаточно для нагрузки.

Сетапы команд: 2 ЛК, 2 Кр, 1 ЭМ, 1 АВ. Корабли должны быть 8-10 уровня, разные.

Построение боя простое. Камера переходит от одного корабля к другому, с переключением на авиагруппы, а так же при массированном налете авиации обоих АВ (один ударник, второй ПВО) на один из ЛК для атаки/защиты.

 

Можно сказать, что игра постоянно оптимизируется и совершенствуется, добавляется новый контент, но базовая часть не меняется. У нас уже давно есть корабля японской и американской ветки, которые не меняются. Есть карты, которые так же не сильно подвержены изменениям. Да и делать такую тестовую сборку раз в полгода (модернизировать, добавлять) по мне так вполне нормально.

Почему именно сборку, а не на клиенте - размер и время. Это позволит не качая сам клиент проверит, на что способна ваша система и как она себя покажет в игре. Например в конце можно показать не просто рекомендованные пораметры, а так же параметры на которых игра будет более производительна. Например понизь разрешение и получи 10 кадров, или отключи растительность, понизь качество воды и отражение...игра прибавит N-кадров. То есть программа будет показывать не просто ставь это и получи 20-25 кадров, а показывать сколько ты их получишь при различных параметров, а так же будет содержать пояснения по настройкам и их влиянию.

Размер такой сборки не должен будет превышать 250-300 Мб в пакедже, при распаковке 600-800 метров. ИМХО (могу ошибаться).

 

Да это приведет к тому, что игроки перестанут качать игру для начала. Но программа должна будет показать оптимальные параметры и показать, что возможно чего-то не хватает (тот же Direct или Visual), а может, то, что система не предназначена или не готова для такого с рекомендациями (тот же Windows 32-bit, и 2Гб на борту).

Кроме того стоит пояснить, что на начальных уровнях игра менее требовательна к ресурсам, что бы он потом с горящим креслом не писал на форуме, что вот на 1-4 все было хорошо, а на 5-7 у него проблемы.

 

Ну вот как-то так.

[NupKoo]

Ты предлагаешь бенчмарк.

Нет, не нужно.

[del32358027]

Ты предлагаешь бенчмарк.

Нет, не нужно.

В обще чертах да.

Спорить не буду, но можно пояснение почему ты считаешь, что не надо? Без сноски: есть требования и больше ничего не надо! ))

[anonym_RgLB8NKYBWTE]

Конторы, которые выпускают игры действительно ААА-класса, сотрудничают с производителями видеокарт и совместно оптимизируют настройки (предлагают заранее настроенные профили на основе специальных бенчмарков). Каждый из вас наверняка видел специальные приложения типа GeForce Experience.

 

 

[del32358027]

Конторы, которые выпускают игры действительно ААА-класса, сотрудничают с производителями видеокарт и совместно оптимизируют настройки (предлагают заранее настроенные профили на основе специальных бенчмарков). Каждый из вас наверняка видел специальные приложения типа nVidia Experience.

Есть такое. Но отсутствует на мобильных платформах в полной версии, а играющих с ноутбуков много.

Кроме того я уже указал, что не просто они там выставлены из расчета держи и играй.

Ведь зайдя при настройках от производителя можно просто получить 20 кадров, а потом во время боя или после залазь и переставляй для оптимального показателя кадров...и тестируй в следующем бою, а может и еще в одном, и еще...(утрирую). ))

 

Я понимаю, что проще ничего не делать, а все доводы свести к: купи нормальный комп за $1К и подключи нормальный инет. Но это такое....

[anonym_3Pk6uW5mAgbl]

мож лучше на базе *** или ******* тестировать железо ?

Да и это ничего не даст..

Вон в 4й *** был встроенный  бенч... ну че, круто - на моих 2 Гб оперативы и 512 видео поазывало 75 ФПС  на средне высоких ага 

В реальности - при средне низких 40 и то не во всех местах.

Всего не учтешь ни в одном бенче.

 

[del32358027]

 

Для этого нужно иметь эти игры, а это в случае *** 5 - 65Гб. И я уже не говорю про лицензию. ))

Так все зависит от сцен, нагрузки текстурами и эффектами. Вот например у меня стоит Mafia 2, тест там показывает 40 кадров в среднем (качество среднее), в игре я имею даже иногда больше.

 

Согласен, что всего не учесть. Например на точку могут придти все! Ну почему бы и нет! Но это будет давать хоть примерную картину чего стоит ожидать и делать.

[NupKoo]

В обще чертах да.

Спорить не буду, но можно пояснение почему ты считаешь, что не надо? Без сноски: есть требования и больше ничего не надо! ))

 

Ну мне лично это не нужно. Вот я новичок, где-то увидел ссылку на кораблики и перешел на их сайт (ну или посоветовал кто и дал ссылку). В разделе скачать, мне предлагают попробовать бенчмарк, размером 1-2Гб, что-бы проверить как идет игра на моем компе и не качать клиент зря. Так? А не нужно мне это по простой причине...или двум:

1. Я опытен в этом вопросе и легко сориентируюсь по текстовому описанию системных требований.

2. И мне будет лень качать сначала бенчмарк, ставить его, смотреть чего получилось и затем качать клиент и снова ставить его. Лучше я сразу скачаю клиент.

И размер у клиента не такой большой. Если было бы гигов 30-50, тогда да - я бы может и решил сначала обойтись бенчмарком.

 

Ну и разработчику придется тратить на это силы. Нужно ли ему это?

[del32358027]

Ну мне лично это не нужно. Вот я новичок, где-то увидел ссылку на кораблики и перешел на их сайт (ну или посоветовал кто и дал ссылку). В разделе скачать, мне предлагают попробовать бенчмарк, размером 1-2Гб, что-бы проверить как идет игра на моем компе и не качать клиент зря. Так? А не нужно мне это по простой причине...или двум:

1. Я опытен в этом вопросе и легко сориентируюсь по текстовому описанию системных требований.

2. И мне будет лень качать сначала бенчмарк, ставить его, смотреть чего получилось и затем качать клиент и снова ставить его. Лучше я сразу скачаю клиент.

И размер у клиента не такой большой. Если было бы гигов 30-50, тогда да - я бы может и решил сначала обойтись бенчмарком.

Ну и разработчику придется тратить на это силы. Нужно ли ему это?

Вполне если рассматривать случай "скоростного" доступа и знаниями. Я же привел примеры, что может быть по разному. Спортить нет смысла.

Ну и не 1-2 ГБ, думаю максимальный пакедж будет на 500 метров, а если постараться то ужать можно и до 300.

[Forrens]

Ну и разработчику придется тратить на это силы. Нужно ли ему это?

 

This.

В идее нет коммерческой составляющей, а поддерживать ещё одну сборку клиента (кодить, тестировать, обновлять) лишяя забота.

Для внутреннего автоматизированного тестирования в игру уже встроена система реплеев, по которой можно следить за производительностью. Ну разве что выдать к ней API для сторонних кодеров имело бы смысл.

[del32358027]

Для внутреннего автоматизированного тестирования в игру уже встроена система реплеев, по которой можно следить за производительностью. Ну разве что выдать к ней API для сторонних кодеров имело бы смысл.

А как система реплеев показывает, что было на одном компе при воспроизведении на другом (по производительности), там нет вроде счетчика кадровки оригинала даже.

[hadzey]

Помнится, при установке Diablo II (кто-нибудь ещё помнит, кроме меня?) запускался бенчмарк, после которого установщик рекомендовал установить те или иные параметры. Было удобно.

Если в кораблях появится хоть какое-то подобие автоматических настроек под конкретную конфигурацию - это только добавит комфорта в освоении игры. Мастера, как и прежде, будут вручную доводить каждый параметр до совершенства. А у обычной ЦА пропадёт головная боль с подбором настроек.

Другой вопрос, насколько это реализуемо, сколько потребуется приложить усилий на разработку, не отвлечёт ли это от решения более приоритетных задач. Не знаю, не знаю.

Но проголосовал "за".

[Ageras]

 сотрудничают с производителями видеокарт и совместно оптимизируют настройки (предлагают заранее настроенные профили на основе специальных бенчмарков).

 

 

Не стоит путать производителя графического процессора видеокарты, это: AMD и nVidia  с производителем карты. Карту по может выпускать любой OEM или noname производитель.

[del32358027]

Не стоит путать производителя графического процессора видеокарты, это: AMD и nVidia  с производителем карты. Карту по может выпускать любой OEM или noname производитель.

Если даже все идут на кастомной карте, то думаю вендерный разгон не должен быть хуже (если делали).

[Forrens]

А как система реплеев показывает, что было на одном компе при воспроизведении на другом (по производительности), там нет вроде счетчика кадровки оригинала даже.

 

Реплеями тестируется относительное изменение производительности / работоспособности приложения, дабы понять что в новой версии клиента хуже не стало. При воспроизведении сценария(реплея) пишутся логи которые автоматом сравниваются с записанными ранее. Хранятся эти логи чаще отдельно, реже в самом сценарии. Пользователю их никто не покажет и в релизной версии данный функционал порезан.

[del32358027]

Реплеями тестируется относительное изменение производительности / работоспособности приложения, дабы понять что в новой версии клиента хуже не стало. При воспроизведении сценария(реплея) пишутся логи которые автоматом сравниваются с записанными ранее. Хранятся эти логи чаще отдельно, реже в самом сценарии. Пользователю их никто не покажет и в релизной версии данный функционал порезан.

Пишутся сценарии, но не реплеи.

Реплей не пойдет на новой версии, если там были внесены изменения, или пойдет но с ошибками. Реплей это простая запись боя на имеющейся версии.

Если бы логи хранились в реплеи, то это был бы первоочередной функционал для внесения в игру, дабы облегчить работу поддержки, а не высасывать скрины, конфиги и логи.

[Forrens]

Помнится, при установке Diablo II (кто-нибудь ещё помнит, кроме меня?) запускался бенчмарк, после которого установщик рекомендовал установить те или иные параметры. Было удобно.

 

То же самое может делать geforce expirience. Корабли среди поддерживаемых игр указаны на его сайте.

http://www.nvidia.ru/object/geforce-experience-supported-pc-games-ru.html

[Forrens]

Пишутся сценарии, но не реплеи.

Реплей не пойдет на новой версии, если там были внесены изменения, или пойдет но с ошибками. Реплей это простая запись боя на имеющейся версии.

Если бы логи хранились в реплеи, то это был бы первоочередной функционал для внесения в игру, дабы облегчить работу поддержки, а не высасывать скрины, конфиги и логи.

 

Так мы же говорим про производительность, а не про глобальные изменения типа изменения ттх кораблей или карт. Если изменения касаются только графики, то реплей не сломается. При этом он будет воспроизводить точное положение камеры и состояние сцены в купе со сбором информации по пиковым нагрузкам и особенностям внутренней работы системы в виде логов. Или вы предлагаете посадить 10 благородных девиц, чтобы они протестировали это вручную и померяли всё на глазок?

[del32358027]

Так мы же говорим про производительность, а не про глобальные изменения типа изменения ттх кораблей или карт. Если изменения касаются только графики, то реплей не сломается. При этом он будет воспроизводить точное положение камеры и состояние сцены в купе со сбором информации по пиковым нагрузкам и особенностям внутренней работы системы в виде логов. Или вы предлагаете посадить 10 благородных девиц, чтобы они протестировали это вручную и померяли всё на глазок?

Но ведь!

Forrens (14 окт 2016 - 13:10) писал:

Реплеями тестируется относительное изменение производительности / работоспособности приложения, дабы понять что в новой версии клиента хуже не стало.

 

Если мы говорим про неизменяемую версию тестирующей программы, то разницы не будет. Но вы почему-то стали говорить про обновления.

Тестирующею программу можно обновлять раз в полгода, она должна будет показывать примерные значения, а +/- 3 кадра не критичны.

 

[anonym_RgLB8NKYBWTE]

Не стоит путать производителя графического процессора видеокарты, это: AMD и nVidia  с производителем карты. Карту по может выпускать любой OEM или noname производитель.

Да ты прав, я имел ввиду производителя чипсета видеокарты.