Пузырь Bitcoin и большие батчи

“AdaBatch: Adaptive Batch Sizes for Training Deep Neural Networks”, A. Devarakonda, M. Naumov, and M. Garland, http://arxiv.org/abs/1712.02029 Так сложилось, что при обучении DNN на маленьких батчах выше сходимость и находятся более качественные решения. Но вот только скоро лопнет пузырь Bitcoin, и на рынке появится много шального железа, которое хорошо бы уметь утилизировать для обучения в параллель (i.e., учить на больших батчах).

В сообщении обсуждается статья об адаптивных размерах батчей для обучения глубоких нейронных сетей, а затем техническое рассуждение неожиданно связывается с возможным крахом пузыря Bitcoin. Шутка в том, что после краха на рынке появится много дешёвого вычислительного оборудования для обучения нейросетей на больших батчах; это реакция для обсуждений ИИ, криптовалют и абсурдных технических прогнозов. EN: The message discusses a paper about adaptive batch sizes for training deep neural networks, then unexpectedly connects the technical discussion to a possible Bitcoin bubble crash. The joke is that the crash would leave a lot of cheap computing hardware on the market for training neural networks with large batches; it is used as a reaction in discussions about AI, cryptocurrency, and absurd technical predictions.

• @profunctor_io / 444 2017-12-08