Пишу с машиной

1. Зрение
2. Глубокий сценарий
3. 149,326,361 знаков

Я сделал вещь!

Создавая это, было похоже на игру с Lego, за исключением того, что вместо пластиковых кирпичей я собирал вместе удобно упакованные блоки человеческого интеллекта и усилий.

Один блок: повторяющаяся нейронная сеть, плод глубокого обучения, способный моделировать и генерировать последовательности персонажей с жуткой правдоподобностью. Щелчок!

Еще один блок: мощно расширяемый текстовый редактор. Щелчок!

Вместе: отзывчивый, встроенный «автозаполнение», основанный на RNN, обученном на корпусе старых научно-фантастических историй.

Если бы мне пришлось предложить экстравагантную аналогию (и я это сделаю), я бы сказал, что это все равно что писать с невменяемым, но очень начитанным попугаем на плече. Каждый раз, когда вы чувствуете себя достаточно смелым, чтобы попросить предложение, вы нажимаете вкладку, и ...

Если вы хотите попробовать сами, код теперь доступен в двух частях:

• Факел-РНН-сервер это сервер, который запускает нейронную сеть, принимает фрагменты текста и возвращает «дополнения» этого текста. По правде говоря, это всего лишь несколько крошечных прокладок, заложенных под незаменимым проектом Факела Джастина Джонсона.
• РНН-писатель пакет для текстового редактора Atom, который знает, как общаться с torch-rnn-сервером и представлять его дополнения пользователю. Я также предоставляю API для людей, которые хотят попробовать это, но не справляются с задачей запуска локального сервера.

Вы найдете инструкции для обоих инструментов на соответствующих страницах Github, и если у вас возникнут трудности с любым из них, не стесняйтесь открыть вопрос или напишите мне.

В основном, я хотел поделиться этими ссылками, но пока я здесь, я добавлю еще несколько вещей: сначала заметку о мотивации, затем наблюдение о сцене глубокого обучения и, наконец, ссылку на научно-фантастическую корпус.

Зрение

Из моих первых повозок с Факел-РНН Проект, генерирующий тупую / жуткую текстовую мимику в командной строке, меня поразил - почти ошеломил - видением набора текста в обычном текстовом редакторе, а затем вызыванием помощи RNN нажатием клавиши. (Когда я говорю «помогите», я имею в виду: меньше Клипи, больше сеанса.)

Поработав несколько недель и выучив пять процентов из двух новых языков программирования, я соединил блоки; обученный РНН; видение осуществилось. И тогда мой первый час игры с ним был полностью сдутым. Да. Не так круто, как я себе представляла.

Это неизбежный эмоциональный путь в любом проекте, и, возможно, решающий.

Поскольку я провел больше времени с rnn-writer, мое мнение несколько изменилось. Я просто так вдохновлен идеей текстового редактора, который обладает глубокой, детальной моделью ... что? Все, что ты написал? Ваши любимые авторы? Твой заклятый враг? Все штатные писатели из Нью-Йорка , настоящее и прошлое? Все в интернете? Это провокационно, как бы ты это ни разрезал.

Я должен четко сказать: я абсолютно не говорю о редакторе, который «пишет для вас», что бы это ни значило. Мир больше не нуждается в роботексте с мертвыми глазами.

Анимационные идеи здесь - увеличение; партнерство; звонок и ответ.

Цель состоит не в том, чтобы сделать написание «легче»; это сделать это сложнее.

Цель состоит не в том, чтобы сделать полученный текст «лучше»; это должно сделать его другим - более странным, с эффектами, возможно, не доступными другими средствами.

Инструменты, которыми я делюсь здесь, не достигают этой цели; их эффекты еще не являются достаточной компенсацией за усилия, необходимые для их использования. Но! Я думаю, что они могли бы туда добраться! И если у этого проекта есть какой-то вклад, который может сделать что-то необычное, я думаю, что это может быть простой трюк с получением RNN из командной строки и в текстовом редакторе, где его вывод становится чем-то, с чем вы действительно можете работать .

Глубокий сценарий

Как и любой смежный с технологиями человек, я читал о глубоком обучении в течение нескольких лет, но только в начале этого года состоялся долгий разговор со старым другом (который с удивлением взволнован этими методами), что я чувствовал мотивацию копаться в себе. И я должен сообщить: это действительно замечательное сообщество в замечательный момент. Отслеживая статьи об Arxiv, проектах на Github и потоках в Twitter, вы чувствуете, что группа людей чуть не спотыкается о себе, чтобы сделать следующее - продвинуть современное состояние.

Это все поддерживается сильной (недавней?) Культурой четких объяснений. Мой взволнованный друг утверждает, что это было столь же важно для роста глубокого обучения, как и (более часто обсуждаемое) наличие быстрых графических процессоров и больших наборов данных. Я сам извлек выгоду из этой культуры, и мне кажется, что это разумный аргумент и важная вещь для понимания.

Вот несколько ресурсов, которые я нашел особенно полезными:

149,326,361 знаков

Большая часть энергии в сцене глубокого обучения сосредоточена на том, что я бы назвал «общими» проблемами, решения которых очень полезны для многих людей: распознавание изображений, распознавание речи, перевод предложений… вы понимаете. Многие из этих проблем связаны с тестами, и если ваша модель набирает больше очков, чем действующий чемпион, вы знаете, что сделали что-то стоящее. Все эти проблемы зависят от стандартных наборов данных. И это - наборы данных - очень скучно.

Таким образом, большая часть работы (и забавы) применения с трудом завоеванных технических триумфов сценаристов глубокого обучения к странным / забавным целям состоит в поиске нестандартных, не скучных наборов данных. Для меня решения о сборе и обработке текстового корпуса были более важными, чем решения о дизайне RNN и последующем обучении.

Корпус, который я использовал чаще всего, взят из Интернет-архива Архив журнала "Мякоть" : 150 МБ Galaxy и IF Magazine . Это очень шумно, с кучей ошибок OCR и большим количеством рекламы, смешанной с научными историями, но вау, там много текста, и RNN, кажется, процветает на этом. Я слегка обработал и нормализовал все это, и объединенный корпус - теперь просто огромный текстовый файл без единого разрыва строки - доступен в интернет архиве ,

Итак, в заключение:

Щелчок. Щелчок. Щелчок!

Май 2016, Беркли

На самом деле, главное, что нужно сделать, это подписаться на мою электронную рассылку. Это выходит примерно раз в сезон, и я всегда стараюсь, чтобы это звучало как записка от друга. Плюс бывают иногда… СЕКРЕТЫ

Похожие