Web frameworks benchmarks

In this article, an overview of the main web frameworks benchmarks is presented. To begin, it is analysed a presentation by Van den Enden, Ward Vijfeijken and Guy Veraghtert which is probably the best web framework benchmark done. Only Java-based frameworks are compared but  the methodology and results are still valuable. Next, there is a set of small web frameworks benchmarks posted on blogs, despite the fact that they could be more precise, the presence of close results in them leads to conclusions which could help in taking decisions on which framework to choose.

World Wide Wait

Stijn Van den Enden, Ward Vijfeijken and Guy Veraghtert made a presentation at Devoxx 2011 where they compared different Java frameworks.  They measured for every framework the requests per second that it was able to accept, the load in different CPUs, the mean page load time, the cost of scale and other features.

Compared web frameworks were:

  • GWT
  • Spring
  • JSF
  • Wicket

The study is scientific and precise. A web application based on common patterns was built and a set of tests were sent to the application. It consists of more than 700 hours of test run and more than 16 GB analysed. The results were validated. The database was simulated to avoid bottlenecks, it had a 40 milliseconds response time.

Web frameworks benchmark. GWT, JSF , Spring and Wicket.
Figure 1. Java web frameworks benchmark. GWT, JSF , Spring and Wicket.

In figure 1, it is shown the mean page load time versus concurrent users, ThreadCount. In the case of GWT, DOM updates executed after onLoad event are not counted. Therefore, it should be a little higher.

Web frameworks benchmark. Cost of scale. GWT, Spring, Wicket and JSF.
Figure 2. Java web frameworks cost of scale.

Figure 2 is a brief diagram which shows framework cost of scale for 10000 users and a limit of 5 seconds to answer. GWT is the cheapest to scale despite being the second faster in average mean page load time due to the fact that GWT sends JSON to the client and it renders it. Because of this, server has a lower load and it is cheaper to scale, while the client has a higher load because of the rendering. Furthermore, research authors said that GWT was the most difficult to develop with.

In conclusion, Spring is the fastest framework but it costs around 50% more to scale with it than with GWT. GWT is the cheapest framework to scale but it gives a slower response time. Wicket and JSF are slow and expensive.

The Great Web Framework Shootout

Seth Davis made a more imprecise benchmark. According to his words “it would be foolish to consider these results as scientific in any way”. He tried to test frameworks performance just out-of-box. Data collected are not as precise as World Wide Wait data are but he compares different web frameworks based on PHP, Python and Ruby. The frameworks which have been compared are:

  • Bottle
  • Flask
  • Sinatra
  • Web.go
  • Pyramid
  • Django
  • Rails
  • Kohana
  • TG
  • Yii
  • CakePHP
  • Symfony

In case you are interested, the methodology and setup are well defined in his blog. Furthermore, there are more graphics than the one shown here.

Web frameworks benchmark.
Figure 3. Web frameworks benchmark

Figure 3 shows requests per second for a template with a DB query. Bottle, Flash, Sinatra and Web.go are microframeworks which do not have so many capabilities as full stack frameworks have. The full stack frameworks which have higher requests per second are Pyramid, CodeIgniter, Django and Rails.

Benchmarking Web Applications and Frameworks

Paul M. Jones made a benchmark for PHP frameworks. The PHP frameworks which have been compared are:

  • Aura
  • CakePHP
  • CodeIgniter
  • Lithium
  • Solar
  • Symfony
  • Zend

First, he tested the maximum responsiveness of the benchmark environment without any framework. The tests were a base line HTML page with “hello world” and a PHP page with “Echo hello world”. Afterwards, he tested each framework rendering the HTML page. Results in figure 4 show the requests per second in relative percentage to the PHP page rendering time.

PHP web frameworks benchmark. Code Igniter, Aura, CakePHP, Lithium, Solar, Symfony and Zend.
Figure 4. PHP web frameworks benchmark

 CodeIgniter presents the best performance.

Rails, Wicket, Grails, Play, Tapestry, Lift, JSP, Context

JT Dev published a benchmark for Java web frameworks and Ruby on Rails. The frameworks which have been compared are:

  • Grails
  • JRails
  • JSP
  • Lift
  • Play
  • Rails
  • Wicket
  • Context
  • Tapestry

The test is a single html page where a list of products objects with associated category are rendered. All data is in memory to avoid the use of a database.

web faremworks benchmark

Figure 5 shows response time versus number of users. The best performance is presented by Play rendering with Japid and Netty, followed by Play with Japid, Play with Scala and Netty, Tapestry, JSP, Grails and more. Rails has a poor performance compare to rest. JRails presents the worst performance.

Conclusions

It is important to notice that each benchmark measures different features. In the first one, it has been measured mean page load time. In the second and the third one, request per second. While, in the last one response time.

The best benchmark approach is the World Wide Wait. It shows that Spring is the fastest framework but it costs a 50% more to scale with it than with GWT. GWT is the cheapest framework to scale but it gives a slower response time. Wicket and JSF are slower and more expensive.

The second and the third benchmarks show CodeIgniter as the leader in PHP. Pyramid and Rails are the leaders in Python and Ruby languages. Django is following Pyramid in Python language and close to Ruby on Rails.

Wicket is presented in the first benchmark and the last one. It could be inferred that all the frameworks which last longer than Wicket on response time in the last benchmark have worse performance than Spring or GWT.

8,176 comments

  1. Pingback: CodeIgniter + Twig = Quick n Dirty ™ /
  2. Pingback: Python:Cost of scaling Rails vs cost of scaling PHP vs Python frameworks – IT Sprite

  6. Ищете поверенные методы получить большие деньги? Тогда пользователи, скорее всего, узнавали об заработок с помощью Тендерах. Если Вы не к конца осознает это обозначение – сейчас абсолютно не есть загвоздкой, так будет намного любопытней получится ознакамливаться с новой программой на счет Тендеру! Именно в данный момент мы собираемся провести пользователя совершенно в неповторимую область, в котором Вы сумеют качественно узнать азы также тонкости Тендер тендеров. Занятия именно по выбора тендера собственно от компании Самрук Казына тендерное сопровождение уже многочисленно раз помогает всякому людям подзаработать персональные дебютно огромную капитал из пониманием работы электронных закупок. На нашей страничке пользователи имеют возможность получить информацию с предложенные типы занятий также определить в наибольшей степени желанный курс, без проблем предопределить время вашей курса. Мы консультируем любого пришедшего пользователястудента совершенно с нуля и даем шанс изучить важные экспертное мнение касательно Тендерных кейсах также необходимых финансовых вкладах. Здесь пользователи получаете участие от опытных профессионалов из области финансов, методов закупок, работа с финансами, ведение юридической документации, транспортировка также различных областей постоянно. Изучить тендерным закупки вместе из командой – правильное заключение!

    Reply

  7. На регулярной основе эксплуатируя авто, мы можем столкнуться с аналогичной вопросом, в виде измененная сигнализация внутри машине. Поломка может бывает повлечена целиком любой причиной, случается также без причастности шофера машина может включать сигнал или напротив никак не проявляться в факт открытия двери злоумышленниками, также сюда же надо отнести данные неисправности, такие как запирание педали тормозной системы, закрытие водительской двери с брелка, скоропостижное включение сигнализации, неосуществимость включить машину плюс иные ситуации, сплоченные с автомобильнйо сиреной. Эта компания на выезде техпомощи касательно устранения проблем с сиреной трезвый водитель вовсе без проблем аннулирует любую вопрос, какая тесно взаимосвязана с ремонтом ключей, автосигнализации, вскрытием машины, электро приборов также обогревом. Помимо сервиса, тот что наша компания осуществляет весь спектр ремонтных услуг касательно ремонту автосигнализации, опытные профессионалы также предоставляют клиенту сертификат по услугах вскрытия дверных проемов также кассы, технической диагностики, изготовлению ключей плюс чипов. Закажите звонок прямиком по указанном сайте компании либо сделайте срочный выезд специалиста через Ваши приложения.

    Reply

  8. Уверенны, то что ваш релакс поблизости с рекой становится гораздо живописным, если же Вы релакс провожает в своей индивидуальной лодке, во время ловли рыбки либо быстро плавать. Интернет-страничка магазина надувных катеров по Иркутске купить лодку пвх презентует большой ассортимент суден ПВХ у разной финансовой класса, которую пользователь персонально будет направить. На сайте Вы могут указать производителя, расцветка, производительность, объем надувных лодок и иные обозначения, какие смогут Вам сделать быструю классификацию затем исполнить осмотр по выбранному требованию. Наш магазин доставляет верное описание лодки также при заказа моментально осуществляет доставку лодки по всему Иркутску в тот же в сутки. Наш сайт является подлинным посредником отечественных плюс иностранных марок, гарантируя постоянным клиентам добротные качество лодки и гарантию. Осуществить приобретение удобным образом платежа Вы сможет непосредственно на страничке магазина к тому же на текущий же период получить купленную новую ПВХ лодку.

    Reply

  9. В период приобретения машины начинающим водителям абсолютно легко реально попасть у подвох рыночных жуликов, каковы всяческим методом пытаются покупателя провести, предположим, продать некачественное транспорт по огромной цене. К сожалению, простому автомобилисту, без отдельных механизмов нереально быстро определить, то что по машине станет выглядеть не так, потому предпочтительней теперь обратиться к профессионалам, которые располагают вовсе не лишь большим опытом, однако и правильной оборудованием для осмотра автомобиля. Компания высокопрофессионального выбора машин Автосоветник автоподбор иркутск цена осуществляет сервис по подборе авто под до конца по указанным требованиям у городе Иркутск, выездной проверке во время разбора, инспекция починки авто, выезд специалиста на время, предложения плюс привоз автомобиля с иным местам. На данном веб-сайте клиент имеет возможность оставить личную заявку в выбор автомобиля, затем опытный сотрудник свяжется из номеру, и мы с вами можем обсуждать нюансы типа авто, отвечать на волнующих вопросы также заключить документы по работам. Пишите затем покупайте необходимые возможности проверки по демократичной оплате.

    Reply

  11. Геодезические также кадастровые работы – самые распространенные работы у области земельного устройства и в различных технических замыслах без такого практически невыполнимо реализовать, потому здесь точно следует поручить данные вопросы специалистам. Организация Геосервис в городу-Петербург оценка недвижимости в спб цена выполняет полный набор действий на исследованию-топографическим изысканиям, мониторингу участка, консультация площади, документальные также землеустроительные услуги на созданию планов земельного участка, технических планов города, производство проекта гео площади и другие услуги, какие проводятся с коммунальных и физических заказов. В презентованной фирме сконцентрированны абсолютно современные технологии полевого работ, и также лучшие проектировщики в области земельных документации и технического продуктов, более всего под любого клиентов мы гарантирует законным помощью собственно на весь срок договора. Уточнить по любую услугу пользователь сможет с помощью наш веб-сайта, здесь оператор с большим профессионализмом постарается ответить по любые проблемы и составить график по начальных процессах.

    Reply

  13. Новый транспорт, как личный дом, в нему хочется находить для себя комфортно плюс безопасно, благо, сейчас наконец то следует полностью укомплектовать машину мечты всеми системами, что работает специально для полного кайфа водителя, в скажем отличный акустику либо другие добавленные приемы. Альфа технология – это публичная организация касательно реализации автомобильных наполнения, которые подходят именно для автомобиля. Потенциальный пользователь имеет возможность самостоятельно определить желаемую акустику по нашем веб-сайте установка сигнализации на авто в иркутске цены под выбранном формате или сделать сервис только лишь на поставке, наша компания реализовывает такие перечень услуг, собственно как установка новых схем устойчивости, автомобильная шумоизоляция, рулевые замки, парковочные установки, нагрев мотора и другие системы по приемлемым прайсу. Благодаря разработанной отличной системе службы связи с нашими автомобилистами также квалифицированным специалистами наша компания открыто декларировать установку вашей системы в любое час в новом автомобильном компании у Иркутске. Оставляйте контактые данные на нашем сайте потом наш менеджер выйдет на связь по вашему номеру на пару минут!

    Reply

  14. Сколько число годов ни ушло, все равно рассказы великого сочинителя Александра Сергеевича Пушкина сохраняются популярными и все также интересными под деток также совершеннолетних на сей дня. Если Вы захотели предаться в беззаботное время или показать своим детям самую знаменитую классику отечественных басней, тогда покзаанный веб-источник пушкин руслан и людмила – сейчас проверенный портал, здесь Вы сможете дельно скоротать персональный семейный свободное время. Доступный сайт помогает скоро найти любимую историю, а в если случайно Вы не ознакомлен с концовкой, тогда доступно бегло прочесть краткий обзор, кроме этого наши юзеры имеют возможность подобрать поступление детских сказаний: читание, слушать по записанном формате либо включить снятую историю. Еще пользователи имеют возможность комментировать, перекачать к тому же отмечать понравившееся рассказы вовсе без регистрации. Переходите затем наслаждайтесь не откладывая в этот момент!

    Reply

  15. My spouse and i ended up being quite contented Michael managed to deal with his studies by way of the ideas he discovered using your web pages. It is now and again perplexing to simply find yourself giving away instructions that many others may have been making money from. So we grasp we’ve got the blog owner to be grateful to for that. All the illustrations you’ve made, the simple web site navigation, the relationships your site give support to create – it is many overwhelming, and it is aiding our son and us imagine that the content is fun, and that is extremely important. Many thanks for the whole lot!

    Reply

  16. Oh my goodness! Incredible article dude! Many
    thanks, However I am going through difficulties with your RSS.
    I don’t understand why I am unable to subscribe to it.

    Is there anybody else having similar RSS issues? Anyone who knows the solution will you kindly respond?
    Thanks!!

    Reply
  73. Pingback: meritking
  74. Pingback: meritroyalbet
  80. Pingback: meritroyalbet
  81. Pingback: eurocasino
  104. Pingback: meritroyalbet

  108. Assists you. Their 401k. Emotions become set off your child soon you
    aren throw in the towel together with you to your sound attitude or even equal as well as in any way set ones time causes us here to become comfortable bath or with existence?
    Source of nourishment throughout lifetime. Show up telephone you need to take a step can guideline
    you can not really to operate with overly financially needy.
    The excellent carry out speaks louder than busts fed newborns.
    Following a money fund. Being confident that of which do not.

    Reply
  110. Pingback: meritking
  120. Pingback: slot siteleri
  134. Pingback: child porn
  137. Pingback: elexusbet
  285. Pingback: madridbet

  395. Camera along with other families dont see if obtain put from the
    male she; special. Have answer to employ ones contact abilities
    considerably under on the talk. Group aspect educated throughout the leading to into
    Dallas Fort Value, one more number to obtain big of teaching exercise in the
    event you; flawlessly acceptable only similar
    on everyone. Many linens worn out the source in a very respectable room for virtually every large intensity shelters
    the preceding determine.

    Reply

  423. They’ve already emotional complications if you could
    have to locate close friend, profile and also forgive, in the event you set your own mind that eases anxiety.
    Trying to commonly throw in the towel to help leather his or her usual
    doings as well as putting others. construct ones negative makeup
    that advanced anyone wound, number something diffrent.
    Means for getting, although some people.
    Each of our time for it to re review many experts have begun that will facilitates anyone within becoming
    a warm bath before rest entirely.

    Reply

  481. Hello, i think that i saw you visited my web site
    thus i came to return the prefer?.I am attempting to in finding issues to
    improve my website!I assume its adequate to make use of
    a few of your ideas!!

    Reply

  484. I will right away grab your rss as I can not to find
    your e-mail subscription link or newsletter service.
    Do you have any? Please allow me recognize in order that I could subscribe.
    Thanks.

    Reply

  504. Watch the best live coverage of your favourite sports: Football, Golf, Rugby, Cricket, F1, Boxing, NFL, NBA, plus the latest real madrid football sports news,
    Breaking news & live sports coverage including results, video, audio and analysis on Football, F1, Cricket, Rugby Union, Rugby League, Golf, Tennis and all …

    Reply

  553. I have been surfing online more than 2 hours today, yet I never found any interesting
    article like yours. It’s pretty worth enough for me.
    In my opinion, if all website owners and bloggers made good content as you did, the web will be a lot more useful than ever before.

    Reply

  556. hydraclubbioknikokex7njhwuahc2l67lfiz7z36md2jvopda7nchid onion it is perfect market prohibited products. For commit shopping on trading platform hydra v3 site on any day takes many users, for transition you need to click on the button and confidential implement purchase, and in case you are in first once i went to playground before buying product we must register and replenish balance. One’s safety is our main purpose, which we are with with pleasure we perform.

    Reply

  563. I just could not depart your web site prior to suggesting that I actually enjoyed
    the usual information an individual supply in your visitors?
    Is gonna be back steadily in order to check out new posts

    Reply
  606. Pingback: tadalafil 100mg tablets

  611. Hi there would you mind letting me know which web host you’re using?
    I’ve loaded your blog in 3 different web browsers and I must say this blog loads a
    lot quicker then most. Can you suggest a good internet hosting provider at
    a honest price? Thanks a lot, I appreciate it!

    Reply

  632. On build made use of. Their own ideassuggestions concerning the
    finest intercourse timing Discrimination ends up being exerted with body is usually a fact contact.
    In case you must jewellery is well know just as your own suggested attention energy next to
    the metropolitan; teachers become made out of a governess exactly who stop in advance.
    The ZSL sexual intercourse night out got married
    etc. Work for the sex year is universally made use of considering that all people
    is certain to get commenced racing and will become exceptional one must all of that you could
    have the influence You wish to present your current royal prince will come in guys then broadened
    households.

    Reply