200314 auto ml에 관하여

회사 slack에서 어떤 분이 올려주신 논문과 그에 대해 정리한 블로그 글을 봤는데, 내용이 굉장히 흥미로워 글을 쓰게 되었다. 블로그 링크와 논문 링크는 다음과 같다.:

https://hoya012.github.io/blog/automl-zero-review/

AutoML-Zero：Evolving Machine Learning Algorithms From Scratch Review

https://arxiv.org/pdf/2003.03384.pdf

불러오는 중입니다...

논문을 요약하자면 다음과 같다. 컴퓨터에게는 간단한 연산만 입력하고(고등학교 수준의 65가지 연산을 설정하였다고 한다.) 복잡한 행렬 연산이나 back propagation 등은 설정하지 않았다고 한다. 그리고 validation set에 관해 가장 낮은 loss만 도출하는 알고리즘들을 살리고 약간씩 변이(mutation)을 줬다고 한다. ml에서의 유전적 알고리즘인 것이다. 그 설정들은 다음과 같다. 

그리고 auto ml의 전체적인 과정은 다음과 같다. 

 classification task에서 predict를 할때 -무한에서 무한으로 값이 펼쳐지기 때문에 normalize를 sigmoid나 softmax로 진행한다고 한다. 아직 완벽하게 이해 못한 부분이 많아 좀 더 논문을 보고 글을 보충해보겠다.