MLPerf 본격활동 개시를 알리다.

JayLee Deep Learning

2018년 설립된, 인공지능 도구의 성능평가를 위한 벤치마크 즉 객관적 기준을 측정하기 위한 벤치마크를 공개, 본격적인 지원업무를 시작했다고 밝혔다.

Andrew Ng의 deeplearning.ai 에서 보내온 메일을 보고, 확인한 WSJ의 Agam Sha의 기사를 재인용한다.

https://www.wsj.com/articles/consortium-of-tech-firms-sets-ai-benchmarks-11561490769

새로운 AI 기술에 대한 과도한 과대선전이 오히려 AI 시장/기술발전의 장애물이 되리란 점은 뻔하다. 이에 기술공급자, 수용자, 학계 등 연구진들 모두가 동의할 수 있는 객관적 측정기준을 만들고자 하는 시도의 첫번째 결과물인 셈이다.

자세한 사항은 MLPerf 컨서시엄의 웹사이트에서 확인할 수 있다. 아직까지 Intel, Google, Nvidia 정도가 작년 연말까지 공개한 Training 결과는 아래에서 확인할 수 있다.

https://mlperf.org/training-results/

상기 트레이닝 기준 역시 링크로 제시하고 있다.

https://mlperf.org/training-overview
https://mlperf.org/

그런데 이를 소개하는 ai corp 의 메시지 제목은 아래와 같다.


The Batch: Why Do Humans Grieve Over Dying Robots?



그리고 이러한 벤치마크가 AI 산업계에 중요한 문제를 제시하고, 업계가 공정한 측정 항목에 기초해서 경쟁을 해야 한다는 이야길 하고 있다.

아직까지 NLP/Converstaion을 중심으로 움직이고 있는 국내 인공지능/머신러닝 업계의 현황/수준을 고려하면 이들이 혹은 이 MLPerf에 참여하는 이들이 글로벌 경쟁력을 가질 수 밖에 없는가를 이해할 수 있게 된다.