Как написать Full Text Index с нуля? Так работает Elastic Search и Full Text Search SQL Server

  • Видео
  • О видео
  • Скачать
  • Поделиться

Как написать Full Text Index с нуля? Так работает Elastic Search и Full Text Search SQL Server

#DevJungles #dotnet #ityoutubers Telegram канал Dev Jungles - https://t.me/DevJungles Поддержать канал можно: - Спонсорством на YouTube - Переводом на карту или пополнением банки монобанка: Dev Jungles YouTube Channel Fund https://send.monobank.ua/jar/7iAP3sZkm9 Номер карты банки: 5375 4112 0230 1466 - Или криптой: BTC - 18C3jsFYwviN5FvzpAt4uMWRfUeVKvdWxy ETH - 0x2903f63ba9009732272e91a299053b9d7b623216 USDT on ERC20 - 0x2903f63ba9009732272e91a299053b9d7b623216 USDT on TRC20 - TSmS5RzQKbWdxZkoM2oRo9HK8FYBaq744T LTC - LN3CkrnvZLZTXDUhqTy1gUKMVpLjEPA4G2 DOGE - DPwon439jf3axVSBwyuXso6z7CivuJF655 AAVE - 0x2903f63ba9009732272e91a299053b9d7b623216 Waves - 3P8D57Zw7CrqW2o7dHpvZR2UzAzQRFA2kZd В мире много текстов. По ним нужно искать. И ищи мы по ним просто пробегая текст символ за символом, то галактики бы рождались и умирали еще до того как мы дойдем до середины библиографии классиков русской литературы. Что бы это все работало быстро существуют алгоритмы полнотекстового индексирования (Full Text Index, Full Text Search). Про эти алгоритмы на внятном популярном языке преступно мало, я попробую исправить этот недочет нашего мира. У меня есть один железобетонный способ понять какой-то алгоритм или подход: написать его самостоятельно. Возможно он не самый быстрый, но самый надежный. Ведь просто прочитав статью вы можете понять что-то неверно и пойти распространять это непонимание в код или того хуже в других людей. Если же вы попробуете реализовать алгоритм о котором прочитали сами, то столкнетесь со жменей мелочей о которых бы и не прочитали, а еще, если вы что-то не поняли, то получите смачную оплеуху от реальности в виде не работающего кода. Алгоритмы полнотекстового индексирования используются для поиска в таких системах как: Elastic Search, Lucene, SQLite, SqlServer, PostgreSQL, MySQL Таймкоды: 00:00:00 - Введение 00:05:24 - Назначение полнотекстового индекса 00:11:15 - О данных для демонстрации 00:14:16 - Поиск в лоб 00:34:36 - Бенчмарк поиска в лоб 00:44:21 - Простой полнотекстовый индекс 00:59:25 - Бенчмарк простого индекса 01:18:50 - Добавление позиции слова в индекс 01:36:04 - Бенчмарк индекса с позицией слова 01:47:11 - О структуре индекса в PostgreSQL 01:51:03 - Пути оптимизации представленных индексов 01:54:22 - Запрос к индексу PostgreSQL 01:55:39 - Поиск по нескольким словам 02:00:37 - Сохранение на диск 02:06:02 - Префиксное дерево для сохранение на диск 02:16:11 - Индекс работающий на чанках 02:21:23 - Написание бенчмарка работы индекса на чанках 02:25:15 - Хранение чанков на диске 02:27:13 - Написание бенчмарка на объем занимаемой индексами памяти 02:32:15 - Итоги бенчмарка работы индекса на чанках 02:36:40 - Итоги бенчмарка на объем занимаемой индексами памяти 02:41:28 - При чем тут shazam
6, 590   |   3 год. назад  |   327 - 0
 

Как написать Full Text Index с нуля? Так работает Elastic Search и Full Text Search SQL Server

Скачайте изображение (превью) выбрав качество


320x180 480x360 640x480 1280x720

#DevJungles #dotnet #ityoutubers

Telegram канал Dev Jungles -

Поддержать канал можно:
- Спонсорством на YouTube
- Переводом на карту или пополнением банки монобанка:
Dev Jungles YouTube Channel Fund


Номер карты банки:
5375 4112 0230 1466

- Или криптой:
BTC - 18C3jsFYwviN5FvzpAt4uMWRfUeVKvdWxy
ETH - 0x2903f63ba9009732272e91a299053b9d7b623216

USDT on ERC20 - 0x2903f63ba9009732272e91a299053b9d7b623216
USDT on TRC20 - TSmS5RzQKbWdxZkoM2oRo9HK8FYBaq744T

LTC - LN3CkrnvZLZTXDUhqTy1gUKMVpLjEPA4G2

DOGE - DPwon439jf3axVSBwyuXso6z7CivuJF655
AAVE - 0x2903f63ba9009732272e91a299053b9d7b623216
Waves - 3P8D57Zw7CrqW2o7dHpvZR2UzAzQRFA2kZd

В мире много текстов. По ним нужно искать. И ищи мы по ним просто пробегая текст символ за символом, то галактики бы рождались и умирали еще до того как мы дойдем до середины библиографии классиков русской литературы.

Что бы это все работало быстро существуют алгоритмы полнотекстового индексирования (Full Text Index, Full Text Search). Про эти алгоритмы на внятном популярном языке преступно мало, я попробую исправить этот недочет нашего мира.

У меня есть один железобетонный способ понять какой-то алгоритм или подход: написать его самостоятельно. Возможно он не самый быстрый, но самый надежный. Ведь просто прочитав статью вы можете понять что-то неверно и пойти распространять это непонимание в код или того хуже в других людей. Если же вы попробуете реализовать алгоритм о котором прочитали сами, то столкнетесь со жменей мелочей о которых бы и не прочитали, а еще, если вы что-то не поняли, то получите смачную оплеуху от реальности в виде не работающего кода.

Алгоритмы полнотекстового индексирования используются для поиска в таких системах как: Elastic Search, Lucene, SQLite, SqlServer, PostgreSQL, MySQL

Таймкоды:
00:00:00 - Введение
00:05:24 - Назначение полнотекстового индекса
00:11:15 - О данных для демонстрации
00:14:16 - Поиск в лоб
00:34:36 - Бенчмарк поиска в лоб
00:44:21 - Простой полнотекстовый индекс
00:59:25 - Бенчмарк простого индекса
01:18:50 - Добавление позиции слова в индекс
01:36:04 - Бенчмарк индекса с позицией слова
01:47:11 - О структуре индекса в PostgreSQL
01:51:03 - Пути оптимизации представленных индексов
01:54:22 - Запрос к индексу PostgreSQL
01:55:39 - Поиск по нескольким словам
02:00:37 - Сохранение на диск
02:06:02 - Префиксное дерево для сохранение на диск
02:16:11 - Индекс работающий на чанках
02:21:23 - Написание бенчмарка работы индекса на чанках
02:25:15 - Хранение чанков на диске
02:27:13 - Написание бенчмарка на объем занимаемой индексами памяти
02:32:15 - Итоги бенчмарка работы индекса на чанках
02:36:40 - Итоги бенчмарка на объем занимаемой индексами памяти
02:41:28 - При чем тут shazam


Как написать Full Text Index с нуля? Так работает Elastic Search и Full Text Search SQL Server

Чтобы скачать видео "Как написать Full Text Index с нуля? Так работает Elastic Search и Full Text Search SQL Server" передвинте ползунок вправо



Покажите вашим друзьям, добавьте в соцсети

Ссылка на страницу с видео:

 

Ссылка HTML на страницу с видео:

 

Код для вставки плеера:


  • Комментарии

Комментарии ФБ


Уважаемые друзья!

Источником всего видеоконтента, в том числе проигрывающегося на страницах ресурса ruslar.me, является сторонний видео ресурс, а именно общедоступный видеохостинг YouTube.com, предоставляющий открытый доступ к своему видеоконтенту (используя открытую и общедоступную технологию video API3 youtube.com)!

Проблемы с авторскими правами

Если вам принадлежат авторские права на данное видео, которое было загружено без вашего согласия на YouTube.com, перейдите на страницу этого видео сайта YouTube.com , нажмите на ссылку под проигрывателем Ещё -> "Пожаловаться" -> "Нарушение моих прав" и в выпадающем меню, выбирите, что именно нарушается и нажмите кнопку "Отправить".



Неприемлемый контент

Чтобы сообщить о неприемлемом видео, перейдите на YouTube, нажмите на ссылку под проигрывателем Ещё -> "Пожаловаться" и выберите в "Сообщить о нарушении" что именно вас не устраивает в этом видео. Подробнее о наших правилах читайте в Условиях использования.