Режим корги режим котята google colab

Google Colab — или как перейти на новый уровень анализа (бесплатно)

Доброго времени суток уважаемые!

В этом году Google преподнёс всем отличный подарок — открыл бесплатный сервис Google Colab.
Google Colab — это сервис где каждый (нужен акк Google, например от Gmail) может попробовать силы в машинном обучении (искусственный интеллект и другие умные слова).

Нам он интересен чем — можно заниматься стратегиями, расчётами и строить сложные графики. А ещё Google Colab не закрыт для внешнего интернета — скачиваем котировки и данные с других ресурсов.
Даже если вы очень далеки от этого — попробуйте, это просто.
Я расскажу о первых шагах.

Сам Google Colab — это интерфейс Jupyter Notebook (бывший IPython).

Задача простая — скачать котировки SPY, нарисовать график, посчитать число падений close-to-close больше 3х процентов за 7 лет.
1. Имеем акк gmail (короче google account)
2. Идём сюда: https://colab.research.google.com/notebooks/welcome.ipynb (открывается страница приветствия)
3. File -> New Python 3 notebook
4. Само рабочее пространство (notebook) представляет из себя набор строк («ячеек» — cells) куда вводится код на языке Python, который можно выполнять (треугольник знак «воспроизведения» слева от каждой строки). Наш код будет вот такой:

from pandas_datareader import data as pdr

import fix_yahoo_finance as yf
yf.pdr_override() # магия

data = pdr.get_data_yahoo(«SPY», start=«2010-01-01», end=«2017-04-30») # скачиваем
data.head(10) # смотрим первые 10 строк

data[‘Adj Close’].plot() # рисуем по колонке Adj Close

(data[‘Adj Close’].pct_change()*100 Code Cells

Я разбил нашу мини-программу на части и исполнил её по ячейкам (последовательно, в ячейку нужно зайти что бы появился треугольник воспроизведения):

В Jupyter Notebook (который в Google Colab бесплатен) можно делать вещи (чаще всего участвует библиотека pandas — с её изучения, помимо базового языка python рекомендую начать самообучение), которые в программах ТА сделать или сложно или долго или вовсе невозможно.

ЗЫ: оффтопик в комментариях удаляется!

Источник

Молчание вентиляторов. Google Colab, Javascript и TensorflowJS

Google Colab — это бесплатный облачный сервис на основе Jupyter Notebook. Google Colab предоставляет всё необходимое для машинного обучения прямо в браузере, даёт бесплатный доступ к невероятно быстрым GPU и TPU. Заранее предупрежу, что у него есть некоторые ограничения, поэтому вы не сможете использовать его для production.

С помощью Google Colab вы можете легко обучить свою модель за считанные секунды. Он поддерживает Python (2/3) из коробки, так что всё должно быть хорошо, верно?

Нет! Я хочу JavaScript

И это, на самом деле, не первый раз, когда я предлагаю заниматься обучением глубоких нейронных сетей на JavaScript. Но даже если предположить на секунду, что это не безумная идея, есть одна проблема. В Google Colab нет встроенной поддержки JavaScript. К счастью, я смог «взломать» его. Благодаря исследованиям, проведённым в этом issue и некоторым простым JavaScript сниппетам, мы можем довольно легко скрестить Google Colab c TensorflowJs.

Быстрый старт

Для того чтобы быстро начать, я создал шаблон. Просто откройте эту ссылку и клонируйте шаблон на Google Диск с помощью команды «Save a copy in Drive».

Теперь у вас есть собственная копия Jupyter Notebook на вашем Google Диске. Выполните код из секции «Prep JS runtime for Google Colab», перезагрузите страницу и всё, ваш JavaScript Jupyter Notebook готов к работе!

Как это работает

В шаблоне Jupyter Notebook заранее прописано ядро javascript. Естественно, при первом запуске на машине, которая вам выделена, нет этого ядра. Поэтому при старте вы увидите сообщение: «Unrecognized runtime javascript; defaulting to python».

Выполнив код в секции «Prep JS runtime for Google Colab», мы устанавливаем ijavascript (это не опечатка — это название npm пакета). Это ядро для Jupyter Notebook, которое поддерживает JavaScript. Более подробно вы можете ознакомиться с проектом на их GitHub репозитории — ijavascript.

Перезагрузив страницу, мы вынуждаем Google Colab загрузить ядро javascript и открываем удивительный мир JavasScript и машинного обучения.

Исправление проблем

Убедитесь, что ядро установилось

Если вы не видите следующую строчку, проверьте форматирование кода:

Google Colab имеет тенденцию добавлять или удалять пробелы, это может всё сломать.

В ядре ijavascript нет простого и понятного способа выполнения команд оболочки

Чтобы это исправить, нужно написать небольшую функцию. Найти её можно в шаблоне.

Так вы можете инициализировать package.json, установить зависимости и запустить несколько команд.

Не используйте let, const

Вместо этого используйте старый добрый var . Это действительно важно, поскольку рабочий процесс Jupyter Notebook предполагает, что вы можете запускать код в любом порядке и запускаться несколько раз. Сделать это с помощью let или const не получится.

Для запуска асинхронного кода стоит использовать методы $$.async() , $$.done() . В противном случае, ваш код может отработать некорректно. Чтобы облегчить этот процесс, можно воспользоваться данной функцией:

Вы можете использовать её для запуска асинхронного кода:

Лимиты Google Colab

Через некоторое время вашу машину уничтожат (подробнее об этом на сайте Google Colab), и при попытке выполнить любой javascript, вы увидите сообщения об ошибках компиляции кода. Скорее всего, вам выделили новую машину. Чтобы это исправить, просто выполните код из секции «Prep JS runtime for Google Colab» и перезагрузите страницу.

Машины без GPU

Обязательно проверяйте, что ваша машина имеет подключенный GPU. К сожалению, иногда Google Colab может выдать машину без GPU. Можете проверить это, выполнив следующий код:

Убедитесь, что в логах есть true . Если это не так, попробуйте изменить Runtime Type с GPU на TPU и обратно в меню Runtime → Change Runtime Type.

Почему JavaScript

Есть несколько причин, по которым я предпочитаю JavaScript (TensorflowJS) для машинного обучения:

• JavaScript — самый используемый язык в мире по статистике GitHub и StackOverflow.
• TensorflowJS не сильно хуже по производительности, а иногда даже быстрее, чем версия Tensorflow (Python).
• С помощью JavaScript можно получить 20—30 кадров в секунду для распознавания лиц и делиться ими со всеми в мире, не покупая при этом безумно дорогое оборудование.
• Есть замечательное русское сообщество TensroflowJS в телеграме, которое насчитывает 200 человек и растёт.
• JavaScript — невероятно крутой язык 🙂

В чём выгода

Почему мы должны страдать и использовать все эти помощники? Почему бы не обучать нейронные сети на своём MacBook/PC? Причина в том, что даже для небольших наборов данных, таких как MNIST и простой модели CNN, вы можете получить повышение производительности в 3—7 раз.

Ну и в конечном счёте можете достичь молчания вентиляторов.

Источник

Техномагия

Любая достаточно развитая технология неотличима от волшебства.

Краткое руководство по работе с Google Colab

Google Colaboratory — это облачный сервис, направленный на упрощение исследований в области машинного и глубокого обучения. Используя Colaboratory, можно получить удаленный доступ к машине с подключенной видеокартой, причем совершенно бесплатно, что сильно упрощает жизнь, когда приходится делать глубокое обучение нейросетей. Можно сказать, что Colab является некоторым аналогом гугл-документов для Jupyter Notebook.

В Colaboratory предустановлена Tensorflow и практически все необходимые для работы Python-библиотеки. Если какой-то пакет отсутствует, он с легкостью устанавливается на ходу через pip или apt-get .

Итак, используя Google Colab вы можете:

• улучшить свои навыки программирования на языке программирования Python.
• развивать глубокое обучение нейросетей с использованием популярных библиотек, таких как Keras, TensorFlow, PyTorch, и OpenCV.

Наиболее важной особенностью, которая отличает Colab от других бесплатных облачных сервисов, является то, что Colab предоставляет GPU и это абсолютно бесплатная услуга.

Подробную информацию об услуге можно найти на странице часто задаваемых вопросов.

Подготовка Google Colab к работе

Создание папки на Google Диске

Поскольку Colab работает на вашем собственном Google Диске, сначала нам нужно указать папку, с которой мы будем работать. Мы создали папку с именем « app » на своем Google Диске . Конечно, вы можете использовать другое имя или выбрать папку Colab Notebooks по умолчанию вместо папки « app ».

Мы создали пустую папку «app»

Создание нового ноутбука Colab

Создайте новый ноутбук, щелкнув правой кнопкой мыши > More > Colaboratory

Переименуйте ноутбук, нажав на имя файла.

Настройка работы с бесплатной видеокартой

Необходимо изменить аппаратное обеспечение по умолчанию (CPU на GPU или наоборот) просто выполнив Edit > Notebook settings или Runtime>Change runtime type и выбрав GPU в качестве Hardware accelerator.

Запуск основных кодов Python с Google Colab

Теперь мы можем начать использовать Google Colab.

Мы будем запускать некоторые коды базовых типов данных из Python Numpy Tutorial.

Ну что же, всё работает как положено 🙂 Если вы не знаете Python, который является самым популярным языком программирования для ИИ, то мы бы порекомендовали вам этот простой и понятный учебник.

Запуск или импорт .py файлов с помощью Google Colab

Сначала запустите эти коды, чтобы установить необходимые библиотеки и выполнить авторизацию.

Когда вы запустите приведенный выше код, вы должны увидеть такой результат:

Нажмите на ссылку, скопируйте код подтверждения и вставьте его в текстовое поле.

После завершения процесса авторизации вы должны увидеть это:

Теперь вы можете подключиться к Google Диску с помощью:

Загрузите файл mnist_cnn.py в папку app, расположенную на вашем Google Диске.

Запустите приведенный ниже код, чтобы обучить простой конвнет (свёрточную нейронную сеть) на наборе данных MNIST.

Как видно из результатов, каждая эпоха длится всего 11 секунд.

Загрузите набор данных Titanic (файл .csv) и отобразите первые 5 строк

Если вы хотите загрузить файл .csv из URL в папку « app» , просто запустите:

Вы можете загрузить свои файлы .csv прямо в папку «app» вместо метода wget.

Прочитайте файл .csv в папке « app» и отобразите первые 5 строк :

Клонирование Github Repo в Google Colab

Легко клонировать репозиторий Github с помощью Git.

Шаг 1: Найти репозиторий Github и получить ссылку «Git»

Найдите любой репозиторий Github для использования.

Clone or download > Copy the link!

2. Git Clone

3. Откройте папку на Google Диске

Конечно, имя папки совпадает с именем репозитория Github 🙂

4. Откройте ноутбук

Щелкните правой кнопкой мыши > Open With > Colaboratory

5. Запустите

Теперь вы можете запустить Github-репо в Google Colab.

Несколько полезных советов

1. Как установить библиотеки?

или попробуйте так:

Любые другие библиотеки

!pip install или !apt-get install для инсталляции любых других библиотек.

2. Работает ли GPU?

Чтобы увидеть, используете ли вы в настоящее время графический процессор в Colab, вы можете запустить следующий код для перекрестной проверки:

3. Какой графический процессор я использую?

В настоящее время Colab предоставляет только Tesla K80 .

4. Как насчет оперативной памяти?

5. А как насчет процессора?

6. Изменение рабочего каталога

Обычно, когда вы запускаете этот код:

Вы, вероятно, видите папки данных и дисков .

Поэтому вы должны добавить drive/app перед определением каждого имени файла.

Чтобы избавиться от этой проблемы, вы можете просто изменить рабочий каталог, например, с помощью этого простого кода:

После отработки кода выше, если вы запустите снова

Вы увидите содержимое папки app, и вам больше не нужно постоянно добавлять drive/app.

7. Устранение ошибки «No backend with GPU available»

Если вы столкнулись с этой ошибкой:

Попробуйте еще раз чуть позже. Многие пользователи сейчас работают с графическими процессорами, и это сообщение появляется, когда используются все доступные видеокарты.

8. Как очистить выходы всех ячеек

Tools>>Command Palette>>Clear All Outputs

9. Предупреждение “apt-key output should not be parsed (stdout is not a terminal)”

Если вы столкнулись с этим предупреждением:

Это означает, что аутентификация уже выполнена. Вам нужно только подключить Google Drive:

10. Как использовать Tensorboard с Google Colab?

Мы рекомендуем этот репозиторий:

11. Как перезапустить Google Colab?

Чтобы перезапустить (или перезагрузить) вашу виртуальную машину, просто запустите:

12. Как добавить форму в Google Colab?

Чтобы не изменять гиперпараметры каждый раз в своем коде, вы можете просто добавить форму в Google Colab.

Например, мы добавили форму, которая содержит переменную learning_rate и строку optimizer .

13. Как увидеть аргументы функции?

Чтобы увидеть аргументы функции в TensorFlow, Keras и т.д., просто добавьте знак вопроса (?) после имени функции:

Теперь вы можете просмотреть оригинальную документацию, не переходя на веб-сайт TensorFlow.

14. Как отправить большие файлы из Colab на Google Drive?

15. Как запустить Tensorboard в Google Colab?

Если вы хотите запустить Tensorboard в Google Colab, запустите приведенный ниже код.

Вы можете отслеживать ваши журналы Tensorboard с помощью созданного URL ngrok.io . Вы найдете URL в конце вывода.

Обратите внимание, что ваши журналы Tensorboard будут сохранены в директории tb_logs. Конечно, вы можете изменить имя каталога.

После этого мы можем увидеть Tensorboard в действии! После запуска приведенного ниже кода вы можете отслеживать журналы Tensorboard через URL-адрес ngrok.

Заключение

Мы думаем, что Colab вдохнет новое дыхание в глубокое обучение нейросетей и изучение искусственного интеллекта во всем мире.

Если вы сочли эту статью полезной — поделитесь ссылкой с друзьями, чтобы помочь другим интересующимся найти её! И не стесняйтесь оставлять комментарии.

Источник