Новий інструмент для роботи з великими даними: GraphRAG від Microsoft

Microsoft представив нову технологію під назвою GraphRAG, яка дозволяє чатботам та пошуковим системам працювати з великими даними набагато ефективніше. GraphRAG значно переважає стандартний RAG (Retrieval-Augmented Generation) - технологію, яка дозволяє великим моделям мови (LLM) використовувати базу даних, подібну до пошукового індексу, як основу для відповіді на питання.

"GraphRAG створює знання з проіндексованих документів, що також відомі як неструктуровані дані. Очевидним прикладом неструктурованих даних є веб-сторінки. Таким чином, коли GraphRAG створює граф знань, він створює "структуроване" представлення відносин між різними "сутностями" (як люди, місця, концепції та речі), яке потім легше розуміють машини."

🚀 GraphRAG створює те, що Microsoft називає "спільнотами" загальних тем (на високому рівні) та більш детальних тем (на низькому рівні). LLM потім створює резюме кожної з цих спільнот, "ієрархічне резюме даних", яке потім використовується для відповіді на питання. Це прорив, тому що він дозволяє чатботу відповідати на питання, більше засновані на знаннях (резюме), ніж на залежності від вбудовування.

• 📌 GraphRAG дозволяє LLM відповідати на питання, засновані на загальному наборі даних.
• 📌 GraphRAG створює граф знань з проіндексованих документів, таких як веб-сторінки.
• 📌 GraphRAG створює "спільноти" загальних тем (на високому рівні) та більш детальних тем (на низькому рівні).
• 📌 LLM створює резюме кожної з цих спільнот, "ієрархічне резюме даних", яке потім використовується для відповіді на питання.
• 📌 GraphRAG доступний для загального користування на GitHub.