2018년 설립된, 인공지능 도구의 성능평가를 위한 벤치마크 즉 객관적 기준을 측정하기 위한 벤치마크를 공개, 본격적인 지원업무를 시작했다고 밝혔다.
Andrew Ng의 deeplearning.ai 에서 보내온 메일을 보고, 확인한 WSJ의 Agam Sha의 기사를 재인용한다.
새로운 AI 기술에 대한 과도한 과대선전이 오히려 AI 시장/기술발전의 장애물이 되리란 점은 뻔하다. 이에 기술공급자, 수용자, 학계 등 연구진들 모두가 동의할 수 있는 객관적 측정기준을 만들고자 하는 시도의 첫번째 결과물인 셈이다.
자세한 사항은 MLPerf 컨서시엄의 웹사이트에서 확인할 수 있다. 아직까지 Intel, Google, Nvidia 정도가 작년 연말까지 공개한 Training 결과는 아래에서 확인할 수 있다.
상기 트레이닝 기준 역시 링크로 제시하고 있다.
그런데 이를 소개하는 ai corp 의 메시지 제목은 아래와 같다.
The Batch: Why Do Humans Grieve Over Dying Robots?
그리고 이러한 벤치마크가 AI 산업계에 중요한 문제를 제시하고, 업계가 공정한 측정 항목에 기초해서 경쟁을 해야 한다는 이야길 하고 있다.
아직까지 NLP/Converstaion을 중심으로 움직이고 있는 국내 인공지능/머신러닝 업계의 현황/수준을 고려하면 이들이 혹은 이 MLPerf에 참여하는 이들이 글로벌 경쟁력을 가질 수 밖에 없는가를 이해할 수 있게 된다.