JBenchmark
JBenchmark | |
---|---|
![]() | |
![]() | |
Тип | тест производительности |
Разработчик | Kishonti Informatics LP |
Написана на | Java ME (CLDC/MIDP) |
Операционная система | Кроссплатформенное программное обеспечение |
Лицензия | несколько вариантов использования |
Сайт | web.archive.org/web/2008… |
JBenchmark — серия тестов производительности (бенчмарков) для платформы Java ME, разработанных венгерской компанией Kishonti Informatics LP. В настоящее время (2008) доступно 9 пакетов тестов для различных подсистем телефона. Большинство тестов бесплатны в базовой версии, позволяющей увидеть результат только после отправления его на сайт производителя теста.
С помощью этих вкладов пользователей на сайте ведется база результатов тестирования телефонов[1]. Для обычных пользователей эта база, возможно, более полезна, чем сами тесты — в ней содержатся данные о производительности, а также о программном и аппаратном обеспечении более чем 1500 устройств. Большая часть данных открыта, но часть доступна только по платной подписке [2].
Особенности
Все ранние тесты (JBenchmark 1.0, JBenchmark 2.0, JBenchmark 3D, JBenchmark HD) доступны по следующей модели. Сами тесты доступны для скачивания и использования бесплатно. После выполнения теста можно увидеть результат. При желании этот результат можно послать на сайт JBenchmark, где он, после модерации, попадет в общую базу данных.
В сентябре 2006 года вышел JBenchmark Pro. Этот набор, в отличие от предыдущих, представлял собой не один скачиваемый Мидлет, а множество (86 штук) тестов производительности различных подсистем телефона. Пользователь может выбрать нужные ему тесты и собрать из них особый Мидлет. В это приложение также включается система диагностики Java ME, которая собирает информацию о доступных JSR и других возможностях платформы.
Однако важным нововведением JBenchmark Pro является то, что данные после тестирования становятся доступны не сразу, их необходимо сначала загрузить в базу, и только после подтверждения с сайта результат выводится на экран. Однако при наличии особой платной (корпоративной) подписки есть возможность получить мидлет, работающий как ранние тесты, т. е выдающий результат сразу на экран[3].
На основе механизма JBenchmark Pro построено и большинство более поздних наборов тестов (JBenchmark ACE, JBenchmark Net, JBenchmark SVG). Однако JBenchmark 239 в настоящее время (июль 2008) доступен только как Corporate Edition.
С января 2008 года стала доступна дополнительная возможность: за особую платную подписку можно получить доступ к закрытой части базы данных устройств, а также к некоторым дополнительным услугам сайта[2].
Наборы тестов
JBenchmark 1.0
JBenchmark 1.0 был первым набором тестов, выпущенным компанией, продуктом, который принес ей мировую известность. Он базировался на MIDP 1.0 и поэтому работал практически на любом телефоне. Однако, тесты были направлены на измерение возможностей телефонов того времени, поэтому в настоящее время этот набор может считаться устаревшим.
Содержит в себе 5 простых тестов, направленных на измерение скорости работы различных типов приложений. Каждый из тестов выполняется в течение 10 секунд. Количество кадров которое успеет отрисоваться за это время, и является результатом теста. Полный результат JBenchmark 1.0 — сумма результатов всех пяти тестов[4].
Тесты:
- Text drawing — экран заполняется текстовыми строками случайного цвета и размера
- 2D shapes — рисует множество двумерных графических фигур различной формы
- 3D shapes — базовыми средствами двухмерной графики MIDP 1.0 рисует вращаюшийся куб
- Fill rate — заполненяет экран небольшими прямоугольниками случайного цвета с целью измерить скорость заполнения графического буфера большим объемом данных
- Animation — вращающееся изображение земного шара (последовательная отрисовка частей PNG файла)
JBenchmark 2.0
В феврале 2004 года вышла новая версия теста — JBenchmark 2.0, базирующаяся на MIDP 2.0[5]. Этот более требовательный к аппаратуре набор, также как и JBenchmark 1.0, содержит в себе 5 тестов:
- Image manipulation — манипулирование содержимым и отрисовка растрового изображения (используется изображение Моны Лизы)
- Text drawing — по экрану прокручивается кусок текста из книги
- Gaming scene — попытка в плане графики воспроизвести поведение типичной двухмерной компьютерной игры для телефона
- 3D transformation — как и в аналогичном тесте JBenchmark 1.0, попытка сэмулировать трёхмерную графику базовыми средствами MIDP, без использования специализированных JSR. Отображается вращающаяся шахматная фигура — конь.
- User interface speed — измеряет скорость работы интерфейса приложения, построенного на стандартных элементах управления MIDP
JBenchmark 3D
В феврале 2005 года компания Kishonti Informatics выпустила третий тест графической подсистемы Java ME, на этот раз для необязательного стандарта трехмерной графики (JSR-184). Как заявляется[6], набор тестов пытается создать нагрузку на графическую подсистему аналогичную таким играм как 3D-шутер.
Содержит 4 теста:
- Triangle throughput — для измерения максимально возможного отображения нетекстурированных треугольников в секунду
- Texturing performance — для измерения скорости текстурирования
- Low Quality — воспроизводит кадры типичного (по мнению Kishonti Informatics) 3D-шутера для низкопроизводительных устройств
- High Quality — трехмерная игра в расчете на наиболее высокопроизводительные (на момент выхода набора тестов) устройства
JBenchmark HD
JBenchmark HD вышел в январе 2006 года и предназначался для тестирования наиболее производительных в то время Java ME устройств. Как и JBenchmark 3D, воспроизводит нагрузку на графическую подсистему, создаваемую 3D-шутерами, основывающимися на стандарте трёхмерной графики JSR-184. Однако тесты нового набора намного требовательней к аппаратуре.
Но главным отличием от JBenchmark 3D является то, что проверяется не только скорость, но и качество отрисовки. Кроме того, появилась возможность загрузить снимок экрана на сайт. Таким образом, при просмотре базы данных, находящейся в свободном доступе, можно узнать не только результаты тестов, но и визуально сравнить изображения, получаемые на различных телефонах.
JBenchmark Pro [7]
Jbenchmark Pro вышел в сентябре 2006 года. Это первый набор, выполненный по новой модели распространения (см. Особенности).
Большой набор тестов по всем подсистемам (включает 86 тестов). Тесты разбиты на следующие группы:
- User Experience — призван симулировать деятельность, непосредственно влияющую на субъевтивное представление пользователя о скорости работы телефона (скорость запуска приложений, скорость работы камеры, скорость файловой системы)
- CPU — набор тестов, которые не привязаны к особым подсистемам, а написаны так, чтобы их производительность зависела только от скорости центрального процессора и эффективности виртуальной машины Java
- 2D Graphics — тесты двухмерной графической подсистемы (стандартные средства MIDP)
- 3D Graphics — тесты трёхмерной графической подсистемы (M3G)
- Composite — тесты разработаны так, чтобы нагружать несколько подсистем одновременно, получив, таким образом, нагрузку аналогичную приложениям из реального мира
- 3D Low Level — нагружают подсистемы трёхмерной графики на низком уровне. Разработаны для определения «узких мест» в реализации M3G. Поскольку эти тесты предназначены главным образом для производителей устройств, результаты низкоуровневых тестов доступны только на платной основе, и не учитываются при вычислении итогового результата JBehchmark Pro
JBenchmark ACE[8]
Тест производительности ARM процессора. На основе набора статистических данных, пытается определить тип и частоту процессора, выполняя Java код (поскольку нет стандартного способа получить эту информацию в Java). Вышел в январе 2007 года.
В отличие от остальных наборов JBenchmark, этот тест поддерживает не только MIDP, но и DoJa Java ME профиль.
JBenchmark 239[9]
Набор тестов трехмерной графики на основе низкоуровнего API JSR-239. Вышел в январе 2007 года.
JBenchmark Net[10]
Тест производительности сетевого соединения. Вышел в мае 2007 года.
JBenchmark SVG
Набор тестов векторной графики SVG (на основе API JSR-226).
Распространенность
Приложения серии Jbenchmark являются весьма известными тестами производительности для платформы Java ME. Он признается производителями [11][12][13], а также используется как основной тест при оценке производительности Java ME платформы телефонов в обзорах на профильных сайтах, например iXBT.com, Mobile-review.com, 3dnews.ru.
Примечания
- ↑ Результаты различных JBenchmark Архивировано 10 июля 2008 года.
- ↑ 2,0 2,1 JBenchmark Data Sevices Архивировано 11 июля 2008 года.
- ↑ JBenchmark Pro Editions Архивировано 16 сентября 2008 года.
- ↑ Описание JBenchmark 1.0 Архивировано 16 июня 2008 года.
- ↑ Пресс-релиз JBenchmark 2.0 Архивировано 11 июня 2008 года.
- ↑ Пресс-релиз JBenchmark 3D Архивировано 20 августа 2008 года.
- ↑ пресс-релиз JBenchmark Pro Архивировано 20 августа 2008 года.
- ↑ Пресс-релиз JBenchmark ACE Архивировано 11 июля 2008 года.
- ↑ пресс-релиз JBenchmark 239 Архивировано 20 августа 2008 года.
- ↑ пресс-релиз JBenchmark Net Архивировано 20 августа 2008 года.
- ↑ Архивированная копия (недоступная ссылка). Дата обращения: 9 июля 2008. Архивировано 15 ноября 2006 года.
- ↑ пресс-релиз Palm, см. упоминание JBenchmark (недоступная ссылка)
- ↑ Советы по оптимизации [[Java ME]] от [[Sun Microsystems]]. См. Performance Metrics . Дата обращения: 9 июля 2008. Архивировано 23 января 2008 года.