Coraz większa popularność sztucznych inteligencji powoduje, że coraz więcej firm chce wiedzieć, jak skuteczną SI mają. Dlatego Ci najwięksi postanowili opracować zestaw testów porównawczych, które pozwolą określić „jak dobra” jest sztuczna inteligencja.

Zadania opracowania benchmarków podjęło się konsorcjum 40 firm technologicznych, w tym Facebook i Google. Zestaw testowy nazwany MLPerf Inference v0.5 skupia się na trzech typowych zadaniach uczenia maszynowego: klasyfikacji obrazów, wykrywania obiektów i tłumaczenia maszynowego. Budując benchmarki wzięto pod uwagę różne możliwości przetwarzania przez różne urządzenia. Dlatego przygotowano różne testy dla różnych platform: smartfonów, serwerów czy układów scalonych.
Poza zapewnieniem najlepszych praktyk dla firm działających w obszarach sztucznej inteligencji, firmy liczną na to, że benchmarki pomogą w pobudzeniu dalszych innowacji. Dzięki wynikom w programach testowych, firmy podejmą rywalizację walcząc o to, by ich SI była lepsza od innych.