Сайты

Самый быстрый способ наполнить базу знаний — отсканировать сайт. Кабинет пройдёт по страницам, вытащит текст и добавит каждую страницу как материал.

Добавить сайт

1. В «Базе знаний», блок «Сайты» → «+ Сайт».
2. Введите адрес (можно без https://), при желании — название.
3. При необходимости поменяйте ограничения: «Макс. страниц» (по умолчанию 50) и «Макс. глубина ссылок» (по умолчанию 3 — сколько переходов от главной).
4. Нажмите «Начать сканирование».

Сканирование идёт в фоне, карточка сайта показывает прогресс: сколько страниц найдено, проиндексировано, с ошибками. Один и тот же домен дважды добавить нельзя — кабинет подскажет, что сайт уже есть.

Что внутри карточки сайта

Раскройте карточку — список страниц, сгруппированных по разделам сайта (по первому сегменту адреса). Есть поиск по адресу и названию. У каждой страницы — статус и дата индексации; клик открывает текст, а «Открыть оригинал» — саму страницу.

Действия:

• Обновить — пройти по сайту заново. Изменившиеся страницы обновятся, новые добавятся.
• Исключить страницу — убрать страницу из поиска. Она не удаляется насовсем: в секции «Исключено» её можно «Вернуть в базу». При обновлении сайта исключённые страницы не возвращаются.
• Исключить группу — целую ветку сайта по адресу, например всё, что начинается с /blog/. Правило действует и на будущие страницы, вернуть — «Включить обратно».
• Просканировать заново — одну страницу, если она не проиндексировалась или изменилась.
• Переименовать сайт, Удалить сайт — целиком.

Ограничения

• Сканируются только страницы, которые открываются обычным запросом и содержат текст в HTML. Сайты, которые полностью рисуются скриптами на стороне браузера, могут оказаться «пустыми».
• Автоматического обновления по расписанию нет — нажимайте «Обновить», когда на сайте что-то поменялось.
• Из соцсетей читаются публичные страницы и группы ВКонтакте и открытые Telegram-каналы; Instagram и Facebook без входа не читаются.