Нейросеть научили составлять рецепт по фотографии блюда (6 фото + видео)
Команда специалистов CSAIL из Массачусетского технологического института научила созданную ими нейросеть составлять рецепты блюда исключительно по фотографии. Система Pic2Recipe ещё требует доработки, но в самое ближайшее время она, уверены исследователи, сможет подсчитывать энергетическую ценность еды с картинок, готовить её, отслеживать пищевые привычки конкретного пользователя и давать ему рекомендации по правильному питанию.
В качестве обучающей базы для нейросети использовались миллионы рецептов с профильных ресурсов. Кроме того, она освоила все технологические процессы: запекание, жарку, тушение, варку и прочее. После анализа информация о готовых рецептах была удалена из сети, чтобы Pic2Recipe смогла самостоятельно идентифицировать ингредиенты и способ приготовления блюда. То есть она не ищет аналоги по изображениям, а использует интеллектуальный подход.
Пока система на практике может определить рецептуру в 65% случаев. Учитывая высокий уровень сложности приготовления некоторых блюд, возможность применения специй, не всегда видимых на фото, результат более чем впечатляет. Пока Pic2Recipe лучше всего удаётся работать с десертами, такими как печенье и кексы. Сложнее дело обстоит с напитками, снеками, супами и хлебом.
Если работа будет продолжена, учёные планируют научить Pic2Recipe составлять завтраки, обеды, ужины отталкиваясь от списка имеющихся в холодильнике продуктов и пищевых ограничений пользователя (аллергии, калорийность, запрет мучного, жареного и так далее). Скорее всего, система будет реализована в виде приложения для смартфона.
Источник: Pic2Recipe