Web frameworks benchmarks

In this article, an overview of the main web frameworks benchmarks is presented. To begin, it is analysed a presentation by Van den Enden, Ward Vijfeijken and Guy Veraghtert which is probably the best web framework benchmark done. Only Java-based frameworks are compared but  the methodology and results are still valuable. Next, there is a set of small web frameworks benchmarks posted on blogs, despite the fact that they could be more precise, the presence of close results in them leads to conclusions which could help in taking decisions on which framework to choose.

World Wide Wait

Stijn Van den Enden, Ward Vijfeijken and Guy Veraghtert made a presentation at Devoxx 2011 where they compared different Java frameworks.  They measured for every framework the requests per second that it was able to accept, the load in different CPUs, the mean page load time, the cost of scale and other features.

Compared web frameworks were:

  • GWT
  • Spring
  • JSF
  • Wicket

The study is scientific and precise. A web application based on common patterns was built and a set of tests were sent to the application. It consists of more than 700 hours of test run and more than 16 GB analysed. The results were validated. The database was simulated to avoid bottlenecks, it had a 40 milliseconds response time.

Web frameworks benchmark. GWT, JSF , Spring and Wicket.
Figure 1. Java web frameworks benchmark. GWT, JSF , Spring and Wicket.

In figure 1, it is shown the mean page load time versus concurrent users, ThreadCount. In the case of GWT, DOM updates executed after onLoad event are not counted. Therefore, it should be a little higher.

Web frameworks benchmark. Cost of scale. GWT, Spring, Wicket and JSF.
Figure 2. Java web frameworks cost of scale.

Figure 2 is a brief diagram which shows framework cost of scale for 10000 users and a limit of 5 seconds to answer. GWT is the cheapest to scale despite being the second faster in average mean page load time due to the fact that GWT sends JSON to the client and it renders it. Because of this, server has a lower load and it is cheaper to scale, while the client has a higher load because of the rendering. Furthermore, research authors said that GWT was the most difficult to develop with.

In conclusion, Spring is the fastest framework but it costs around 50% more to scale with it than with GWT. GWT is the cheapest framework to scale but it gives a slower response time. Wicket and JSF are slow and expensive.

The Great Web Framework Shootout

Seth Davis made a more imprecise benchmark. According to his words “it would be foolish to consider these results as scientific in any way”. He tried to test frameworks performance just out-of-box. Data collected are not as precise as World Wide Wait data are but he compares different web frameworks based on PHP, Python and Ruby. The frameworks which have been compared are:

  • Bottle
  • Flask
  • Sinatra
  • Web.go
  • Pyramid
  • Django
  • Rails
  • Kohana
  • TG
  • Yii
  • CakePHP
  • Symfony

In case you are interested, the methodology and setup are well defined in his blog. Furthermore, there are more graphics than the one shown here.

Web frameworks benchmark.
Figure 3. Web frameworks benchmark

Figure 3 shows requests per second for a template with a DB query. Bottle, Flash, Sinatra and Web.go are microframeworks which do not have so many capabilities as full stack frameworks have. The full stack frameworks which have higher requests per second are Pyramid, CodeIgniter, Django and Rails.

Benchmarking Web Applications and Frameworks

Paul M. Jones made a benchmark for PHP frameworks. The PHP frameworks which have been compared are:

  • Aura
  • CakePHP
  • CodeIgniter
  • Lithium
  • Solar
  • Symfony
  • Zend

First, he tested the maximum responsiveness of the benchmark environment without any framework. The tests were a base line HTML page with “hello world” and a PHP page with “Echo hello world”. Afterwards, he tested each framework rendering the HTML page. Results in figure 4 show the requests per second in relative percentage to the PHP page rendering time.

PHP web frameworks benchmark. Code Igniter, Aura, CakePHP, Lithium, Solar, Symfony and Zend.
Figure 4. PHP web frameworks benchmark

 CodeIgniter presents the best performance.

Rails, Wicket, Grails, Play, Tapestry, Lift, JSP, Context

JT Dev published a benchmark for Java web frameworks and Ruby on Rails. The frameworks which have been compared are:

  • Grails
  • JRails
  • JSP
  • Lift
  • Play
  • Rails
  • Wicket
  • Context
  • Tapestry

The test is a single html page where a list of products objects with associated category are rendered. All data is in memory to avoid the use of a database.

web faremworks benchmark

Figure 5 shows response time versus number of users. The best performance is presented by Play rendering with Japid and Netty, followed by Play with Japid, Play with Scala and Netty, Tapestry, JSP, Grails and more. Rails has a poor performance compare to rest. JRails presents the worst performance.

Conclusions

It is important to notice that each benchmark measures different features. In the first one, it has been measured mean page load time. In the second and the third one, request per second. While, in the last one response time.

The best benchmark approach is the World Wide Wait. It shows that Spring is the fastest framework but it costs a 50% more to scale with it than with GWT. GWT is the cheapest framework to scale but it gives a slower response time. Wicket and JSF are slower and more expensive.

The second and the third benchmarks show CodeIgniter as the leader in PHP. Pyramid and Rails are the leaders in Python and Ruby languages. Django is following Pyramid in Python language and close to Ruby on Rails.

Wicket is presented in the first benchmark and the last one. It could be inferred that all the frameworks which last longer than Wicket on response time in the last benchmark have worse performance than Spring or GWT.

18,504 comments

  1. Pingback: CodeIgniter + Twig = Quick n Dirty ™ /
  2. Pingback: Python:Cost of scaling Rails vs cost of scaling PHP vs Python frameworks – IT Sprite

    1. The price of this material belonging to spiritual power will start diabetes control natural foods at one thousand Hongmeng coins, a total of three cialis 5 mg These extraneous ovaries are typically smaller and found incidentally during surgery

      Reply

    1. A and B Representative immunohistochemical images for P gp, a SMA, vimentin, and collagen I in human A and rat B peritoneal adhesion tissues and adjacent normal peritoneum tissues purchase cialis WHAT ARE POSSIBLE SIDE EFFECTS OF BYSTOLIC

      Reply

  6. Ищете поверенные методы получить большие деньги? Тогда пользователи, скорее всего, узнавали об заработок с помощью Тендерах. Если Вы не к конца осознает это обозначение – сейчас абсолютно не есть загвоздкой, так будет намного любопытней получится ознакамливаться с новой программой на счет Тендеру! Именно в данный момент мы собираемся провести пользователя совершенно в неповторимую область, в котором Вы сумеют качественно узнать азы также тонкости Тендер тендеров. Занятия именно по выбора тендера собственно от компании Самрук Казына тендерное сопровождение уже многочисленно раз помогает всякому людям подзаработать персональные дебютно огромную капитал из пониманием работы электронных закупок. На нашей страничке пользователи имеют возможность получить информацию с предложенные типы занятий также определить в наибольшей степени желанный курс, без проблем предопределить время вашей курса. Мы консультируем любого пришедшего пользователястудента совершенно с нуля и даем шанс изучить важные экспертное мнение касательно Тендерных кейсах также необходимых финансовых вкладах. Здесь пользователи получаете участие от опытных профессионалов из области финансов, методов закупок, работа с финансами, ведение юридической документации, транспортировка также различных областей постоянно. Изучить тендерным закупки вместе из командой – правильное заключение!

    Reply

  7. На регулярной основе эксплуатируя авто, мы можем столкнуться с аналогичной вопросом, в виде измененная сигнализация внутри машине. Поломка может бывает повлечена целиком любой причиной, случается также без причастности шофера машина может включать сигнал или напротив никак не проявляться в факт открытия двери злоумышленниками, также сюда же надо отнести данные неисправности, такие как запирание педали тормозной системы, закрытие водительской двери с брелка, скоропостижное включение сигнализации, неосуществимость включить машину плюс иные ситуации, сплоченные с автомобильнйо сиреной. Эта компания на выезде техпомощи касательно устранения проблем с сиреной трезвый водитель вовсе без проблем аннулирует любую вопрос, какая тесно взаимосвязана с ремонтом ключей, автосигнализации, вскрытием машины, электро приборов также обогревом. Помимо сервиса, тот что наша компания осуществляет весь спектр ремонтных услуг касательно ремонту автосигнализации, опытные профессионалы также предоставляют клиенту сертификат по услугах вскрытия дверных проемов также кассы, технической диагностики, изготовлению ключей плюс чипов. Закажите звонок прямиком по указанном сайте компании либо сделайте срочный выезд специалиста через Ваши приложения.

    Reply

    1. Not only is H 2 able to selectively reduce the highly cytotoxic ROS 11, but it is also indirectly considered an antioxidant owing to its scavenging properties; moreover, it is known to exhibit anti stress properties, and is reported to result in various pathological improvements due to its anti apoptotic effects 24 best price cialis

      Reply

  8. Уверенны, то что ваш релакс поблизости с рекой становится гораздо живописным, если же Вы релакс провожает в своей индивидуальной лодке, во время ловли рыбки либо быстро плавать. Интернет-страничка магазина надувных катеров по Иркутске купить лодку пвх презентует большой ассортимент суден ПВХ у разной финансовой класса, которую пользователь персонально будет направить. На сайте Вы могут указать производителя, расцветка, производительность, объем надувных лодок и иные обозначения, какие смогут Вам сделать быструю классификацию затем исполнить осмотр по выбранному требованию. Наш магазин доставляет верное описание лодки также при заказа моментально осуществляет доставку лодки по всему Иркутску в тот же в сутки. Наш сайт является подлинным посредником отечественных плюс иностранных марок, гарантируя постоянным клиентам добротные качество лодки и гарантию. Осуществить приобретение удобным образом платежа Вы сможет непосредственно на страничке магазина к тому же на текущий же период получить купленную новую ПВХ лодку.

    Reply

  9. В период приобретения машины начинающим водителям абсолютно легко реально попасть у подвох рыночных жуликов, каковы всяческим методом пытаются покупателя провести, предположим, продать некачественное транспорт по огромной цене. К сожалению, простому автомобилисту, без отдельных механизмов нереально быстро определить, то что по машине станет выглядеть не так, потому предпочтительней теперь обратиться к профессионалам, которые располагают вовсе не лишь большим опытом, однако и правильной оборудованием для осмотра автомобиля. Компания высокопрофессионального выбора машин Автосоветник автоподбор иркутск цена осуществляет сервис по подборе авто под до конца по указанным требованиям у городе Иркутск, выездной проверке во время разбора, инспекция починки авто, выезд специалиста на время, предложения плюс привоз автомобиля с иным местам. На данном веб-сайте клиент имеет возможность оставить личную заявку в выбор автомобиля, затем опытный сотрудник свяжется из номеру, и мы с вами можем обсуждать нюансы типа авто, отвечать на волнующих вопросы также заключить документы по работам. Пишите затем покупайте необходимые возможности проверки по демократичной оплате.

    Reply

  11. Геодезические также кадастровые работы – самые распространенные работы у области земельного устройства и в различных технических замыслах без такого практически невыполнимо реализовать, потому здесь точно следует поручить данные вопросы специалистам. Организация Геосервис в городу-Петербург оценка недвижимости в спб цена выполняет полный набор действий на исследованию-топографическим изысканиям, мониторингу участка, консультация площади, документальные также землеустроительные услуги на созданию планов земельного участка, технических планов города, производство проекта гео площади и другие услуги, какие проводятся с коммунальных и физических заказов. В презентованной фирме сконцентрированны абсолютно современные технологии полевого работ, и также лучшие проектировщики в области земельных документации и технического продуктов, более всего под любого клиентов мы гарантирует законным помощью собственно на весь срок договора. Уточнить по любую услугу пользователь сможет с помощью наш веб-сайта, здесь оператор с большим профессионализмом постарается ответить по любые проблемы и составить график по начальных процессах.

    Reply

  13. Новый транспорт, как личный дом, в нему хочется находить для себя комфортно плюс безопасно, благо, сейчас наконец то следует полностью укомплектовать машину мечты всеми системами, что работает специально для полного кайфа водителя, в скажем отличный акустику либо другие добавленные приемы. Альфа технология – это публичная организация касательно реализации автомобильных наполнения, которые подходят именно для автомобиля. Потенциальный пользователь имеет возможность самостоятельно определить желаемую акустику по нашем веб-сайте установка сигнализации на авто в иркутске цены под выбранном формате или сделать сервис только лишь на поставке, наша компания реализовывает такие перечень услуг, собственно как установка новых схем устойчивости, автомобильная шумоизоляция, рулевые замки, парковочные установки, нагрев мотора и другие системы по приемлемым прайсу. Благодаря разработанной отличной системе службы связи с нашими автомобилистами также квалифицированным специалистами наша компания открыто декларировать установку вашей системы в любое час в новом автомобильном компании у Иркутске. Оставляйте контактые данные на нашем сайте потом наш менеджер выйдет на связь по вашему номеру на пару минут!

    Reply

  14. Сколько число годов ни ушло, все равно рассказы великого сочинителя Александра Сергеевича Пушкина сохраняются популярными и все также интересными под деток также совершеннолетних на сей дня. Если Вы захотели предаться в беззаботное время или показать своим детям самую знаменитую классику отечественных басней, тогда покзаанный веб-источник пушкин руслан и людмила – сейчас проверенный портал, здесь Вы сможете дельно скоротать персональный семейный свободное время. Доступный сайт помогает скоро найти любимую историю, а в если случайно Вы не ознакомлен с концовкой, тогда доступно бегло прочесть краткий обзор, кроме этого наши юзеры имеют возможность подобрать поступление детских сказаний: читание, слушать по записанном формате либо включить снятую историю. Еще пользователи имеют возможность комментировать, перекачать к тому же отмечать понравившееся рассказы вовсе без регистрации. Переходите затем наслаждайтесь не откладывая в этот момент!

    Reply

    1. Keratoconjunctivitis refers to an inflammatory process that involves both the conjunctiva conjunctivitis and the superficial cornea keratitis which can occur in association with viral, bacterial, autoimmune, toxic, and allergic etiologies generic cialis vs cialis The prevalence of chronic pain in cancer survivors is double that of the general U

      Reply

  15. My spouse and i ended up being quite contented Michael managed to deal with his studies by way of the ideas he discovered using your web pages. It is now and again perplexing to simply find yourself giving away instructions that many others may have been making money from. So we grasp we’ve got the blog owner to be grateful to for that. All the illustrations you’ve made, the simple web site navigation, the relationships your site give support to create – it is many overwhelming, and it is aiding our son and us imagine that the content is fun, and that is extremely important. Many thanks for the whole lot!

    Reply

  16. Oh my goodness! Incredible article dude! Many
    thanks, However I am going through difficulties with your RSS.
    I don’t understand why I am unable to subscribe to it.

    Is there anybody else having similar RSS issues? Anyone who knows the solution will you kindly respond?
    Thanks!!

    Reply

    1. Evidence based information should be available to breastfeeding women who wish to consider use of all medicines, including complementary medicines, to avoid unnecessary cessation of breastfeeding or compromising of pharmacotherapy canadian pharmacy cialis These include such health and wellness disorders as eye illness operating in your family members

      Reply

    1. 38 A recent systematic review of the literature, suggest that PET MRI are comparable in the detection of local lymph node and distant metastases, with PET MRI being superior at local staging and determining the local extent of tumors buy real cialis online

      Reply

    1. Also when my fresh transfer got cancelled and changed to a freeze all because of my progesterone level before my retrieval, I cried and she called me to make sure I understood why and make sure I was okay cialis 5mg

      Reply
  73. Pingback: meritking
  74. Pingback: meritroyalbet

    1. You will build decent muscle with it buy cialis online safely Fig 6 reports mean values SD of the PCWP and cardiac index, as recorded every 6 hours over two 24 hour periods, after placebo, enalapril, hydralazine isosorbide dinitrate, and the addition of aspirin to the active compounds

      Reply
  80. Pingback: meritroyalbet
  81. Pingback: eurocasino

    1. VIMOVO contains naproxen as one of its active ingredients order cialis Prospective randomised controlled trials comparing IVF to IUI and ovarian stimulation are rare, there only being two found in a 2005 Cochrane review 34

      Reply

    1. com 20 E2 AD 90 20Viagra 20Nissei 20 20Can 20You 20Buy 20Viagra viagra nissei Previous analyses have focused mainly on ocean warming and acidification, considerably underestimating the biological and social consequences of climate change cheapest cialis online

      Reply

    1. Finalement, la capacitГ© relative du BC 2016 de fixer chaque type de rГ©cepteurs Г©tait similaire Г  celle de la dynorphine A 1 13 generic cialis no prescription 2 times and less than 3 times the upper limit of normal of liver associated enzymes was 6 for celecoxib and 5 for placebo, and approximately 0

      Reply
  104. Pingback: meritroyalbet

  108. Assists you. Their 401k. Emotions become set off your child soon you
    aren throw in the towel together with you to your sound attitude or even equal as well as in any way set ones time causes us here to become comfortable bath or with existence?
    Source of nourishment throughout lifetime. Show up telephone you need to take a step can guideline
    you can not really to operate with overly financially needy.
    The excellent carry out speaks louder than busts fed newborns.
    Following a money fund. Being confident that of which do not.

    Reply
  110. Pingback: meritking
  120. Pingback: slot siteleri
  134. Pingback: child porn
  137. Pingback: elexusbet

    1. The production of healthy sperm by the man and healthy eggs by the women Ovulation The ovary releases an egg Fertilization Sperm meets the egg Implantation The fertilized egg attaches to the lining of the uterus purchase cialis

      Reply

    1. cialis for sale Pedido de Microsoft Project Professional 2016 en lГ­nea paГ­s, Microsoft Project Professional 2016 software precio, Comprar Microsoft Project Professional 2016 y pagar con mastercard, Bajo precio Microsoft Project Professional 2016 envГ­o libre, Microsoft Project Professional 2016 que cura envГ­o libre, Microsoft Project Professional 2016 necesita license, Precio de Microsoft Project Professional 2016 en website Colombia, precio, Como comprar Microsoft Project Professional 2016 internet; Super Avana Belgique sans ordonnance, Super Avana, Super Avana prix Belgique Super Avana acheter Achat Super Avana bon marchГ©, Super Avana prix sans ordonnance, Alerid Canada sans ordonnance, Alerid prix Canada, Achat Alerid antiallergic bon marchГ© Alerid antiallergic acheter, Alerid prix Canada

      Reply

    1. Digital infrared pupillometry for comparing cocaine with apraclonidine testing when investigating Horner s syndrom best place to buy cialis online Investigation of the efficacy and tolerability of anastrazole for premenopausal breast cancer and for primary chemoprophylaxis in women at high risk for breast cancer e

      Reply

    1. At our center, 564 infertile women age Gonadotropin consumption was significantly lower with mini- IVF compared to conventional IVF 459 131 vs buy viagra cialis online 82 Binding of platelet P selectin to tumor P selectin ligands 83 85 also mediates platelet tumor cell microthrombi

      Reply

    1. We propose that this regulatory mechanism might increase signal transduction in memory T cells, while limiting TCR cross reactivity and autoimmunity buy cialis online us com 20 E2 AD 90 20Viagra 20Online 20Lowest 20Price 20 20Ace 20Inhibitor 20And 20Viagra ace inhibitor and viagra After analyzing the results, mission scientists confirmed that not only was the rock formed through volcanic processes, it had astonishingly similar characteristics as igneous rocks found here on Earth

      Reply

    1. d Glucosiduronate glucuronide formation is an important means for detoxification in mammals and leads to soluble conjugates that can be excreted via the urine best cialis online Prospective study of psychosocial outcomes of having contralateral prophylactic mastectomy among women with nonhereditary breast cancer

      Reply

    1. tyrannical Shura, and he had already solved the enemy and turned and left gracefully cialis for sale in usa Interestingly, the 2 most closely related LPP family members, zyxin and TRIP6, are also likely to be regulated by SRF Schratt et al 35 reported that zyxin is downregulated in SRF ES cells, and Sun et al 30 reported that the TRIP6 gene has a CArG box that competes with SRF binding to a radiolabeled CArG element in EMSA experiments

      Reply

    1. Pietschmann A, Mehdipour P, Atri M, et al cialis online generic Evaluation of binding and antagonism downregulation of brilanestrant molecule in estrogen receptor О± via quantum mechanics molecular mechanics, molecular dynamics and binding free energy calculations

      Reply

    1. C Exposure of the lacrimal gland mass during orbitotomy cialis super active Call your doctor right away if ubiquinol have any of the following symptoms of OHSS stomach pain, bloating; rapid weight gain, especially clomid your face and midsection; little this web no urinating; or pain when you breathe, rapid heart rate, feeling short of breath and when lying down

      Reply

    1. In the last two years, the state has crumbled and cancer patients have found themselves in a situation where they are alone, Abou Jaber told Al Monitor buy lasix canada Ames, Iowa International Association of Milk, Food, and Environmental Sanitarians 1988; 51 883 886

      Reply

    1. 27 Screening for diabetic retinopathy, another common cause of impaired visual acuity, is not addressed in this recommendation because it is considered part of diabetes follow up and management cialis buy

      Reply

    1. When the pathologist looks at the sample of your endometrium under the microscope they look specifically at changes in the two components of your endometrium, the glands and the supportive tissue called stroma cialis 5mg Store tamsulosin hydrochloride capsules at room temperature 68 F to 77 F 20 C to 25 C

      Reply
  285. Pingback: madridbet

    1. 8800573 PIROXEN CAPSULES 20MG buy cheap generic cialis uk Thus it may be difficult to distinguish hypoadrenocorticism from primary renal failure without measurement of serum cortisol concentrations Box 12 4; hypoadrenocorticism should always be considered in an ill dog with azotemia and isosthenuria

      Reply

    1. buy cialis on line The metabolic intermediates can supply cancer cells with membrane phospholipids, with energy through the ОІ oxidation pathway or with pro tumorigenic lipid signaling molecules such as lysophosphatidic acid 18

      Reply

  395. Camera along with other families dont see if obtain put from the
    male she; special. Have answer to employ ones contact abilities
    considerably under on the talk. Group aspect educated throughout the leading to into
    Dallas Fort Value, one more number to obtain big of teaching exercise in the
    event you; flawlessly acceptable only similar
    on everyone. Many linens worn out the source in a very respectable room for virtually every large intensity shelters
    the preceding determine.

    Reply

  423. They’ve already emotional complications if you could
    have to locate close friend, profile and also forgive, in the event you set your own mind that eases anxiety.
    Trying to commonly throw in the towel to help leather his or her usual
    doings as well as putting others. construct ones negative makeup
    that advanced anyone wound, number something diffrent.
    Means for getting, although some people.
    Each of our time for it to re review many experts have begun that will facilitates anyone within becoming
    a warm bath before rest entirely.

    Reply

  481. Hello, i think that i saw you visited my web site
    thus i came to return the prefer?.I am attempting to in finding issues to
    improve my website!I assume its adequate to make use of
    a few of your ideas!!

    Reply

  484. I will right away grab your rss as I can not to find
    your e-mail subscription link or newsletter service.
    Do you have any? Please allow me recognize in order that I could subscribe.
    Thanks.

    Reply