Оновлення GraphRAG від Microsoft: Вдосконалення пошуку за допомогою динамічного вибору спільнот

Microsoft недавно оголосила про важливе оновлення своєї системи GraphRAG, що спрямоване на покращення роботи пошукових машин на основі штучного інтелекту. Це оновлення значно прискорює обробку великих мовних моделей (LLM) та збільшує їхню точність. Оновлена версія GraphRAG не має конкретного номеру версії, але вона настільки значна, що корисно називати її 2.0 для відрізнення від оригінального GraphRAG.

“Baseline RAG struggles with queries that require aggregation of information across the dataset to compose an answer. Queries such as “What are the top 5 themes in the data?” perform terribly because baseline RAG relies on a vector search of semantically similar text content within the dataset. There is nothing in the query to direct it to the correct information. However, with GraphRAG we can answer such questions, because the structure of the LLM-generated knowledge graph tells us about the structure (and thus themes) of the dataset as a whole. This allows the private dataset to be organized into meaningful semantic clusters that are pre-summarized. The LLM uses these clusters to summarize these themes when responding to a user query.”

🚀GraphRAG використовує двокроковий процес для виконання своєї роботи. На першому етапі, він сегментує пошуковий індекс на тематичні спільноти, які формуються навколо пов'язаних тем. Ці спільноти пов'язані між собою за допомогою сутностей (наприклад, люди, місця або концепції) та відношень між ними, формуючи ієрархічний знаннєвий граф. На другому етапі, GraphRAG використовує знаннєвий граф, який він створив, для надання контексту LLM, щоб він міг більш точно відповісти на питання.

• 📌 Оновлення GraphRAG включає "динамічний вибір спільнот", який оцінює відповідність кожного звіту про спільноту. Невідповідні звіти та їхні підспільноти вилучаються, що покращує ефективність та точність, зосереджуючись лише на відповідній інформації.