- content type system that abstract away data formats and representations
- with a focus on a more natural fundamental types
- optimized for unified rendering, interactions and learning
- TODO number not letter
- name
- metaphor for the system’s ability to break down content into its fundamental modalities
- similar to light being refracted into its constituent colors
- 3 fundamental modalities
- text. number != letters
- video, image?
- audio
- [[sparks]] is a unified type for the system that create universal interface for all modalities
- систему веб-разработки
- **интегрированный подход к содержанию, представлению и поведению**: создание единой системы, которая объединяет структуру контента, его визуальное представление и логику поведения. вместо разделения на html, css и javascript, использовать единый синтаксис или набор правил, позволяющих одновременно описывать структуру, стиль и динамику контента.
- **математические принципы в основе дизайна и компоновки**: использование теории графов для определения взаимосвязей между элементами и принципов фрактальной геометрии для определения их структуры и расположения. такой подход позволил бы автоматически генерировать адаптивные и гармоничные композиции, исходя из фундаментальных принципов восприятия и эстетики.
- **естественные языки как основа для интерфейсов программирования**: разработка системы описания веб-контента и поведения, основанной на естественных языках, позволяющей разработчикам формулировать задачи и интеракции в более интуитивно понятной форме. использование принципов NLP (обработки естественного языка) для интерпретации и преобразования этих описаний в работающий код.
- **динамическая адаптивность на основе контекста и поведения пользователя**: введение механизмов искусственного интеллекта и машинного обучения, позволяющих системе автоматически адаптироваться под различные устройства, предпочтения пользователя и контекст использования. система могла бы самостоятельно учиться на основе взаимодействия с пользователем, оптимизируя свою структуру и представление для максимального удобства и эффективности.
- **глубокая интеграция с сенсорными и мультимедийными возможностями устройств**: разработка системы таким образом, чтобы она могла полноценно использовать возможности современных устройств, включая сенсорные экраны, голосовые команды, VR/AR-технологии и другие формы взаимодействия, выходящие за рамки традиционного ввода через клавиатуру и мышь.
- **система оценки и оптимизации доступности и удобства использования**: внедрение встроенных инструментов для анализа и оптимизации интерфейсов с точки зрения доступности для людей с различными ограничениями и удобства использования. это могло бы включать автоматическую проверку соответствия рекомендациям по доступности и предоставление рекомендаций по улучшению пользовательского опыта.
- детали системы
- Давайте конкретизируем идею новой системы веб-разработки, опираясь на фундаментальные принципы и делая её более практической:
- ### 1. **Единый Язык Разметки и Стилей (Unified Markup and Style Language, UMSL)**
- **Что это такое?** Единый язык, который интегрирует структуру, стили и поведение в одном синтаксисе. Это не просто слияние HTML, CSS и JavaScript, а новый язык, основанный на принципах чистоты кода, универсальности и интуитивности.
- **Пример**: В UMSL элемент `box` мог бы автоматически адаптироваться к содержимому и контексту, меняя свои размеры, стиль и поведение в зависимости от данных пользователя и параметров устройства.
- ### 2. **Фрактальная Система Компоновки (Fractal Layout System)**
- **Что это такое?** Система, использующая фрактальную геометрию для определения структуры веб-страницы, позволяя создавать гармоничные и масштабируемые композиции, которые естественно адаптируются под любые размеры экрана.
- **Пример**: Компонент `gallery` может автоматически регулировать количество и расположение изображений на странице, опираясь на математические пропорции для создания визуального баланса.
- ### 3. **Интуитивное Описание Поведения (Intuitive Behavior Description)**
- **Что это такое?** Способ описания логики поведения элементов через естественно-языковые конструкции, понятные даже без программистского опыта.
- **Пример**: Вместо традиционного программирования событий, пользователь мог бы описать поведение элемента так: "когда пользователь наводит курсор на `button`, показать `tooltip` с текстом 'Нажмите для подробностей'".
- ### 4. **Контекстно-Зависимая Адаптивность (Context-Dependent Adaptivity)**
- **Что это такое?** Система адаптации веб-страницы к контексту использования, включая тип устройства, предпочтения пользователя и условия окружающей среды, используя искусственный интеллект и машинное обучение.
- **Пример**: Веб-страница автоматически изменяет схему цветов и размеры текста в зависимости от освещённости окружающей среды и настроек доступности на устройстве пользователя.
- ### 5. **Встроенная Поддержка Мультимедиа и Интерактивности (Integrated Multimedia and Interactivity Support)**
- **Что это такое?** Полная интеграция с современными мультимедийными возможностями устройств, включая поддержку голосового управления, жестов, VR и AR без необходимости внешних плагинов.
- **Пример**: Элемент `video` автоматически определяет, поддерживает ли устройство VR, и предлагает пользователю VR-режим просмотра, если это возможно.
- ### 6. **Автоматизированная Оптимизация Доступности (Automated Accessibility Optimization)**
- **Что это такое?** Встроенные инструменты для анализ

а и оптимизации веб-страниц с точки зрения доступности, автоматически предлагающие изменения для улучшения удобства использования.
- **Пример**: Система сама анализирует контрастность текста на странице и предлагает корректировки, чтобы соответствовать международным стандартам доступности.

Эта концептуальная система стремится к максимальной интеграции возможностей, упрощению разработки и повышению удобства конечного пользователя, делая веб более доступным, гибким и интуитивно понятным.
- Fractal Layout System
- Фрактальная Система Компоновки — это подход к организации элементов веб-страницы, который использует принципы фрактальной геометрии для создания гармоничных, масштабируемых и адаптивных композиций.
- **Масштабируемость и самоподобие**: В основе фрактальной системы лежит принцип самоподобия, когда структура каждой части (компонента) веб-страницы отражает структуру целого. Это позволяет элементам интерфейса гибко адаптироваться к различным условиям отображения, сохраняя при этом целостность и гармоничность дизайна.
- **Адаптивность компоновки**: Использование фракталов позволяет компоновке быть интуитивно понятной и естественно адаптироваться под разные размеры экранов и ориентации. Компоненты могут динамически изменять своё взаимное расположение, обеспечивая оптимальное использование доступного пространства.
- **Визуальная гармония**: Фрактальная система способствует созданию визуально привлекательных композиций за счет использования математических пропорций и паттернов. Это обеспечивает приятный пользовательский опыт и способствует удержанию внимания посетителей сайта.
- UMSL
- это гипотетический язык, предназначенный для упрощения процесса веб-разработки за счет объединения структуры, стиля и поведения в единую систему. Это позволяет избавиться от необходимости использовать отдельные языки для разметки (HTML), стилей (CSS) и скриптов (JavaScript).
- **Интеграция**: UMSL предлагает синтаксис, позволяющий описывать структуру документа, его визуальное оформление и динамическое поведение в рамках единого файла или блока кода. Это способствует более тесной интеграции компонентов веб-страницы и упрощает её разработку и поддержку.
- **Семантичность и доступность**: При разработке UMSL важное внимание уделяется семантичности, то есть способности языка точно и естественно выражать структуру и смысл контента. Это облегчает создание доступных веб-сайтов и приложений, поскольку семантическая структура является ключевым элементом доступности.
- **Адаптивность**: UMSL предусматривает встроенные средства для адаптивного дизайна, позволяя элементам страницы автоматически изменять свои размеры и компоновку в зависимости от размеров экрана и других факторов окружающей среды.
- примеры
- Представим, что мы разрабатываем новый синтаксис для Единого Языка Разметки и Стилей (UMSL), который будет интегрироваться с Фрактальной Системой Компоновки. Целью этого синтаксиса является предоставление интуитивно понятного, мощного и гибкого способа описания веб-контента, который автоматически адаптируется и реагирует на различные условия.
- ### Основы синтаксиса UMSL:

UMSL строится на принципах естественности и интуитивности, позволяя разработчикам использовать естественно-языковые конструкции и математические принципы для описания структуры, стиля и поведения.

	  элемент "контейнер" {
	    тип: фрактал;
	    размер: адаптивный;
	    стиль: {
	        фон: светло-серый;
	        отступ: 10px;
	    };
	    содержимое: [
	        "заголовок" {
	            текст: "Привет, мир!";
	            стиль: {
	                цвет: темно-синий;
	                размер-шрифта: 20px;
	            };
	        },
	        "картинка" {
	            источник: "путь/к/изображению.jpg";
	            стиль: {
	                высота: авто;
	                ширина: 100%;
	            };
	        }
	    ];
	  }

- ### Интеграция с Фрактальной Системой Компоновки:

Фрактальная система позволяет элементам автоматически адаптироваться и оптимально использовать доступное пространство, следуя математическим принципам для достижения визуальной гармонии.

	  элемент "галерея" {
	    тип: фрактал;
	    правило-компоновки: "золотое сечение";
	    содержимое: генерировать из "путь/к/галерее";
	    стиль: {
	        отступ: 5px;
	        рамка: нет;
	    };
	    при наведении: {
	        эффект: "увеличение";
	        стиль-эффекта: {
	            масштаб: 1.1;
	        };
	    };
	  }

В этом примере:
- **тип: фрактал** указывает, что элемент должен организовываться в соответствии с фрактальной системой компоновки.
- **правило-компоновки: "золотое сечение"** задает математическое правило для распределения и масштабирования вложенных элементов, обеспечивая гармоничную и балансированную композицию.
- **при наведении: { эффект: "увеличение"; }** демонстрирует, как можно описывать динамическое поведение элементов с использованием естественно-языковых конструкций.

UMSL и Фрактальная Система Компоновки создают основу для разработки веб-страниц и приложений, которые интуитивно понятны в создании, эстетически приятны и автоматически адаптируются к различным условиям отображения, обеспечивая исключительный пользовательский опыт.
-
- **Metaphor Essence**: A "Prism" is a transparent optical element that refracts light, breaking it down into its constituent spectral colors. It symbolizes transformation and the revelation of components that are not immediately visible to the naked eye.
- **Alignment with System**: This metaphor suggests the system’s ability to analyze and categorize content, revealing its fundamental components (audio, video, text) and showing how they interact to form complex multimedia experiences.
- **Memorability and Implications**: "Prism" is visually and conceptually memorable, implying clarity, insight, and the revealing of underlying structures. It suggests a system that not only categorizes but also enlightens and elucidates the nature of content.
- interactions and context
-
- common properties
- consumption time
- Adopting a more flexible approach and extending the range to include longer content durations, while narrowing down to 7 types for each modality, we can create a classification that spans from very brief interactions to extended engagements. This setup allows for a broad yet nuanced categorization across text, audio, and video modalities:

| Duration | Text Content | Audio Content | Video Content |
|-------------------|-------------------|---------------------|---------------------|
| Instant (1-10 sec) | Headline | Sound Effect | Gif |
| Brief (10 sec-2 min) | Tweet/Short Post | Jingle/Clip | Trailer/Teaser |
| Short (2-5 min) | Article | Song/Short Track | Short Film |
| Medium (5-20 min) | Long Article/Blog | Podcast Episode | TV Episode |
| Long (20 min-1 hr) | Chapters | Long Podcast/Album | Movie/Documentary |
| Extended (1-3 hrs) | Series | Concert/Audiobook | Feature Film |
| Marathon (3+ hrs) | Book | Series/Marathon | Series/Extended Cut |
- ### Descriptions and Justifications:
- **Instant**: Content that is consumed almost immediately, suitable for catching attention or conveying simple, powerful messages.
- **Brief**: Slightly longer engagement that provides more depth or entertainment but is still easily consumable in a single, short sitting.
- **Short**: Offers a complete experience or narrative that can be enjoyed during a short break or commute.
- **Medium**: Ideal for in-depth exploration without requiring a major time commitment, fitting into a daily routine like a lunch break.
- **Long**: Content that demands more engagement, suitable for evening leisure activities or longer commutes.
- **Extended**: Material designed for dedicated consumption periods, such as a movie night or deep dive into a subject.
- **Marathon**: Content best enjoyed with significant time investment, often consumed in multiple sessions or during dedicated viewing times.

This classification recognizes the diversity of content consumption habits and preferences, providing creators and distributors with a framework to categorize their content by the anticipated duration of engagement. It emphasizes the fluidity of content boundaries and the importance of matching content type to viewer or reader expectations and contexts.
- size
- compression
- text
- structured vs. unstructured
- Переосмыслив идею применения понятий "структурированный" и "неструктурированный" к текстовой модальности, мы получаем другую полезную рамку для классификации и анализа текстовых данных. Эти термины часто используются в контексте обработки и анализа данных, в том числе и в области искусственного интеллекта (AI) и машинного обучения.
- ### Структурированный Текст
Структурированный текст характеризуется чёткой организацией и форматом, что позволяет легко извлекать из него конкретную информацию. Примеры включают:
- **Базы данных**: Где информация организована в таблицы с определёнными полями.
- **Электронные таблицы**: Содержат структурированные данные, разделённые на столбцы и строки.
- **Форматированные документы**: Например, XML и JSON файлы, где данные представлены в виде пар "ключ-значение" или в структурированном дереве.
- ### Неструктурированный Текст
Неструктурированный текст представляет собой данные, не имеющие предопределённой организации, что затрудняет их прямой анализ или извлечение информации без дополнительной обработки. Примеры включают:
- **Электронные письма, блоги, статьи**: Хотя могут содержать внутреннюю структуру разделов и абзацев, общий формат не стандартизирован.
- **Социальные медиа**: Посты и комментарии, которые могут содержать разнообразную информацию без чёткой структуры.
- **Текстовые файлы**: Простые `.txt` файлы, содержащие непрерывные потоки текста.
- ### Сравнительная Таблица

| Критерий | Структурированный Текст | Неструктурированный Текст |
|---------------------|---------------------------------|--------------------------------------|
| **Формат** | Чётко определённый, стандартизированный | Не имеет фиксированной структуры |
| **Извлечение данных**| Относительно простое благодаря стандартизированной структуре | Требует предварительной обработки для анализа (NLP, AI) |
| **Примеры** | Базы данных, XML, JSON | Электронные письма, статьи, социальные медиа |
| **Обработка** | Прямой доступ к информации | Требует алгоритмов обработки естественного языка для извлечения информации |
| **Применение** | Автоматизация, отчётность, аналитика | Контент-анализ, мониторинг социальных медиа, анализ сентиментов |
- ### Выводы
Классификация текстовых данных на структурированные и неструктурированные позволяет лучше понять подходы к их обработке и анализу. Структурированные данные легче интегрируются в системы и алгоритмы для автоматизации и аналитики, в то время как неструктурированные данные часто требуют применения методов и
- interactivity
- audio
- vector bitmap
- Понимание аудио как растрового (представленного в форме волновых форм, где каждый образец аудио зафиксирован в определённый момент времени) и векторного (где аудио создаётся или модифицируется динамически на основе математических моделей или инструкций) помогает глубже осмыслить различные подходы к аудиопроизводству и обработке.
- В этом контексте "растровое" аудио соответствует не сжатым и сжатым форматам, где звук представлен серией дискретных аудиосэмплов (например, WAV, MP3), а "векторное" аудио — это форматы, в которых звук генерируется в реальном времени из набора параметров или инструкций (например, MIDI).
- Давайте переосмыслим предыдущую таблицу, учитывая это различие:
- | Аспект | Растровое Аудио (Sample-based) | Векторное Аудио (Synthesis-based) |
|---------------------|--------------------------------------------------|--------------------------------------------------|
| **Представление** | Дискретные аудиосэмплы | Математические модели или инструкции |
| **Форматы** | WAV, AIFF (не сжатое); MP3, AAC (сжатое с потерями); FLAC, ALAC (сжатое без потерь) | MIDI |
| **Качество** | Зависит от битрейта и глубины сэмплирования | Зависит от качества синтезаторов и звуковых банков |
| **Масштабируемость**| Не масштабируется без потери качества | Бесконечно масштабируемо без потери качества |
| **Использование** | Запись и воспроизведение музыки, речи, звуковых эффектов | Создание музыки, обучение, программирование звуков |
| **Редактирование** | Может быть сложным и ресурсоёмким | Относительно простое, изменяя параметры или инструкции |
| **Примеры применения** | Музыкальные треки, подкасты, аудиокниги, звуковые эффекты в кино и играх | Музыкальное образование, композиция, интерактивные приложения |
- Это разделение подчёркивает различные подходы к созданию и воспроизведению аудио, где растровое аудио лучше подходит для точного воспроизведения заранее записанных звуков, а векторное аудио предлагает гибкость и масштабируемость при создании музыки и звуковых эффектов в реальном времени.
- sounds, speech, sound + speech
- amount of channels
- resolution
- video
- растровое / векторное
- ### Quadrants for Video Modality with File Extensions

| | **Raster (Pixel-based)** | **Vector (Scalable)** |
|---------------------------|---------------------------------------------------|---------------------------------------------------|
| **Static** | JPEG (.jpg), PNG (.png), BMP (.bmp) | SVG (.svg), EPS (.eps) |
| | TIFF (.tiff) | AI (Adobe Illustrator, .ai) |
| **Dynamic** | MPEG (.mpeg, .mpg), AVI (.avi) | SWF (.swf), HTML5 Canvas & SVG Animations |
| | MP4 (.mp4), GIF (.gif) | Animated SVG (.svg), HTML5 (.html, .htm) |
- #### Description of Quadrants:
- **Static + Raster**: These are non-animated, pixel-based image files. Common extensions include .jpg, .png, and .bmp for photographs and illustrations used in print and websites. These formats are widely supported and used for high-quality static images.
- **Dynamic + Raster**: This quadrant covers video and animated formats that rely on raster graphics. Extensions like .mp4, .mpeg, and .avi denote video files, whereas .gif represents looped animations. These formats are crucial for multimedia content, supporting everything from full-length films to short animations.
- **Static + Vector**: Involves non-animated, scalable image files that retain quality at any size, using extensions like .svg and .eps. These files are essential for logos, icons, and illustrations requiring resizing for various applications without quality loss.
- **Dynamic + Vector**: Comprises animated or interactive vector formats, including .swf (for older Flash animations) and animated .svg files, as well as HTML5-based animations that can be scalable and responsive, suitable for web use.

This table organizes the file formats by their nature (static vs. dynamic) and type (raster vs. vector), providing a handy reference for choosing the appropriate file type based on the content's requirements and the intended use.
- resolution for pixel based
- image
- Визуальная модальность охватывает как растровые, так и векторные изображения, которые служат разным целям и применяются в зависимости от требований к проекту. Вот сравнительная таблица между растровым и векторным подходами:

| Параметр | Растровые изображения | Векторные изображения |
|--------------------|--------------------------------------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------|
| Состав | Состоят из пикселей, каждый из которых имеет определённый цвет. | Состоят из математических уравнений, описывающих точки, линии, кривые и полигоны. |
| Масштабируемость | При масштабировании вверх потеря качества, становятся размытыми. | Могут быть масштабированы бесконечно без потери качества. |
| Размер файла | Размер файла может быстро увеличиваться с ростом разрешения и глубины цвета. | Обычно занимают меньше места, особенно для простых изображений или дизайнов. |
| Использование | Фотографии, детализированные иллюстрации, текстуры. | Логотипы, иконки, шрифты, диаграммы, карты. |
| Редактирование | Редактирование может быть более трудоёмким из-за попиксельной обработки. | Легко редактируемы благодаря возможности изменения форм и размеров без потери качества. |
| Воспроизведение | Пригодны для печати в исходном разрешении и экранного отображения. | Идеально подходят для печати любого размера, от визитных карточек до билбордов, без потери качества. |
| Программное обеспечение | Adobe Photoshop, GIMP, Microsoft Paint. | Adobe Illustrator, Inkscape, CorelDRAW. |
| Примеры форматов | JPEG, PNG, GIF, BMP. | SVG, EPS, PDF, AI. |
- ### Выводы:
- **Растровые изображения** идеально подходят для проектов, требующих высокой детализации и точности в воспроизведении цветов, таких как фотографии и детальные иллюстрации. Однако их основным недостатком является потеря качества при масштабировании и относительно большие размеры файлов для высококачественных изображений.
- **Векторные изображения** предпочтительны для дизайнерских работ, требующих частого изменения размеров без потери качества, например, при создании логотипов, иконок и типографики. Они обеспечивают гибкость в дизайне и масштабируемость, что делает их идеальными для использования в графическом дизайне и веб-разработке.
- resolution for pixel based
- {:height 1047, :width 1008}
- 
-