Оновлення інфраструктури пошуку Bing: впровадження великих та малих моделей мови для покращення продуктивності

Microsoft оголосила про оновлення пошукової інфраструктури Bing, зокрема впровадження великих та малих моделей мови (LLMs та SLMs відповідно), а також нових методів оптимізації. Це оновлення має на меті покращити продуктивність та знизити витрати на виконання пошукових запитів.

Використання LLMs у пошукових системах може створювати проблеми зі швидкістю та вартістю. Щоб вирішити ці проблеми, Bing навчив SLMs, які, за їхніми словами, у 100 разів швидше працюють, ніж LLMs. Bing також використовує NVIDIA TensorRT-LLM для покращення роботи SLMs. TensorRT-LLM - це інструмент, який допомагає знизити час та вартість виконання великих моделей на NVIDIA GPUs.

"LLMs можуть бути дорогими та повільними. Щоб покращити ефективність, ми навчили моделі SLM (~ 100x покращення пропускної спроможності LLM), які обробляють та розуміють пошукові запити точніше."

🚀 Згідно з технічним звітом Microsoft, інтеграція технології Nvidia TensorRT-LLM покращила функцію "Deep Search" компанії. "Deep Search" використовує SLMs у реальному часі для надання відповідних веб-результатів. Перед оптимізацією, оригінальна модель трансформера Bing мала 95-й відсоток затримки 4,76 секунд на партію (20 запитів) та пропускну спроможність 4,2 запити на секунду на одну інстанцію. З TensorRT-LLM, затримка скоротилася до 3,03 секунд на партію, а пропускна спроможність зросла до 6,6 запитів на секунду на одну інстанцію. Це означає зменшення затримки на 36% та зниження оперативних витрат на 57%.

• 📌 Оновлення Bing призводить до швидших результатів пошуку з оптимізованим висновком та більш швидким часом реакції.
• 📌 Покращена точність завдяки підвищеним можливостям моделей SLM, які надають більш контекстуалізовані результати.
• 📌 Ефективність витрат, що дозволяє Bing інвестувати в подальші інновації та поліпшення.