Мы представляем Manticore Search 7.0.0 — новую версию с интересными функциональными улучшениями, оптимизациями производительности и критическими обновлениями для повышения стабильности. Среди ключевых изменений — поддержка нечёткого поиска, автодополнения, интеграция с Kafka, новая сегментация китайского.
🚨 Важная информация перед обновлением
Перед переходом на новую версию обратите внимание на следующие изменения:
Бинарные логи для отдельных таблиц (#879): Перед обновлением выполните полную остановку сервиса, так как формат бинарных логов изменился.
Обновления протокола репликации (#1789, #2308): Если используете репликацию, то следуйте инструкциям по перезапуску кластера.
Обновление в протоколе Master/agent (#2468): Если используете распределённые таблицы, то сначала обновите агенты, затем мастер-узлы.
Полный список изменений доступен в changelog'е.
🔍 Нечеткий поиск и автодополнение
Прощайте, опечатки! Новая функция Fuzzy Search находит похожие термины, даже если запрос содержит ошибки, учитывает раскладки клавиатуры и легко включает. А Autocomplete предсказывает поисковые фразы в реальном времени.
mysql> SELECT * FROM mytable WHERE MATCH('someting') OPTION fuzzy=1, layouts='us,ua', distance=2;
+------+-------------+
| id | content |
+------+-------------+
| 1 | something |
| 2 | some thing |
+------+-------------+
2 rows in set (0.00 sec)mysql> call autocomplete('gra', 'test');
+-----------+
| query |
+-----------+
| gradually |
| grow |
| grew |
| angry |
| draw |
| hungry |
| brave |
+-----------+Обе новые функции также доступны через JSON-интерфейс.
📜 Постраничная навигация с помощью Scroll
Пагинация стала проще и быстрее за счёт новой опции поиска Scroll:
SHOW SCROLLпосле селекта даёт токен, указывающий на то, где закончилась пагинацияoption scroll='<токен>'в следующем селекте позволяет продолжить со следующего документа
SELECT weight(), id FROM test WHERE match('hello') ORDER BY weight() desc, id asc limit 2;
SHOW SCROLL;
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| scroll_token |
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| eyJvcmRlcl9ieV9zdHIiOiJ3ZWlnaHQoKSBkZXNjLCBpZCBhc2MiLCJvcmRlcl9ieSI6W3siYXR0ciI6IndlaWdodCgpIiwiZGVzYyI6dHJ1ZSwidmFsdWUiOjEyODEsInR5cGUiOiJpbnQifSx7ImF0dHIiOiJpZCIsImRlc2MiOmZhbHNlLCJ2YWx1ZSI6MiwidHlwZSI6ImludCJ9XX0= |
+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)
SELECT weight(), id FROM test WHERE match('hello') limit 20
OPTION scroll='eyJvcmRlcl9ieV9zdHIiOiJ3ZWlnaHQoKSBkZXNjLCBpZCBhc2MiLCJvcmRlcl9ieSI6W3siYXR0ciI6IndlaWdodCgpIiwiZGVzYyI6dHJ1ZSwidmFsdWUiOjEyODEsInR5cGUiOiJpbnQifSx7ImF0dHIiOiJpZCIsImRlc2MiOmZhbHNlLCJ2YWx1ZSI6MiwidHlwZSI6ImludCJ9XX0=';⚡ Синхронизация с Кафкой в реальном времени
Интегрируйте потоковые данные из Kafka напрямую в Manticore для поиска по логам, метрикам или пользовательскому контенту.
CREATE SOURCE kafka
(id bigint, term text, abbrev '$abbrev' text, GlossDef json)
type='kafka'
broker_list='kafka:9092'
topic_list='my-data'
consumer_group='manticore'
num_consumers='2'
batch=50
CREATE TABLE destination_kafka
(id bigint, name text, short_name text, received_at text, size multi);
CREATE MATERIALIZED VIEW view_table
TO destination_kafka AS
SELECT id, term as name, abbrev as short_name, UTC_TIMESTAMP() as received_at, GlossDef.size as size FROM kafka📊 Производительность: Вторичные индексы для JSON
Фильтрация по атрибутам JSON стала быстрее с помощью вторичных индексов.
ALTER TABLE users ADD COLUMN profile JSON;
ALTER TABLE users ADD secondary_index profile_json ON (profile);Также добавлена новая команда SHOW TABLE INDEXES для отображения вторичных индексов в таблице:
mysql> SHOW TABLE test INDEXES;
+------------------------------+--------+---------+---------+
| Name | Type | Enabled | Percent |
+------------------------------+--------+---------+---------+
| j['addresses'] | uint32 | 1 | 100 |
| j['addresses']['a1'] | uint32 | 1 | 100 |
| j['addresses']['a2'] | uint32 | 1 | 100 |
| j['factor'] | uint32 | 1 | 100 |
| j['int_arr'] | uint32 | 1 | 100 |
| j['tags'] | uint32 | 1 | 100 |
| id | int64 | 1 | 100 |
| j['price'] | float | 1 | 100 |
| j['addresses']['a1']['id'] | string | 1 | 100 |
| j['addresses']['a1']['name'] | string | 1 | 100 |
| j['addresses']['a2']['id'] | string | 1 | 100 |
| j['addresses']['a2']['name'] | string | 1 | 100 |
| j['arr'] | string | 1 | 100 |
| j['str'] | string | 1 | 100 |
| j['tags']['1'] | string | 1 | 100 |
| j['tags']['2'] | string | 1 | 100 |
+------------------------------+--------+---------+---------+
16 rows in set (0.00 sec)📊 Производительность: Неблокирующие UPDATE'ы и слияния
Операции обновления и поиска больше не прерываются при слиянии дисковых чанков.
📊 Производительность: Автоматическая очистка дисковых чанков для RT-таблиц
Manticore теперь автоматически сохраняет RAM-чанки на диск при первой возможности, предотвращая снижение производительности (RAM-чанки не смотря на то, что находятся в памяти могут работать медленнее дисковых чанков при некоторых обстоятельствах). Настройка diskchunk_flush_write_timeout позволяет управлять этим процессом.
🌍 Китайская токенизация с Jieba (#931)
Можно точнее сегментировать китайские тексты с помощью функций и словаря библиотеки Jieba.
CREATE TABLE products(title text, price float) charset_table = 'cont' morphology = 'jieba_chinese'И многое другое
В Manticore 7.0.0 также вошли:
🚀 7 ключевых изменений
✅ 49 второстепенных улучшений
🐞 63 исправлениями ошибок
Полный список — в changelog.
Особая благодарность участникам @sibnix, @animetosho, Алексею Иванову и всем, кто помог в создании этого релиза! ❤️
