sql >> Databáze >  >> NoSQL >> Redis

Znovu prozkoumat agregovaný návrat 5 nejlepších z každé skupiny

Za prvé:

  • Nezapomeňte zakázat funkce, které nebudete používat (NOOFFSETS , NOHL ,NOFREQS , STOPWORDS 0 )
  • Použijte SORTABLE pro váš NUMERIC score .

Zde je schéma, které jsem použil k testování:

FT.CREATE product_tags NOOFFSETS NOHL NOFREQS STOPWORDS 0
    SCHEMA product_name TEXT tags TAG score NUMERIC SORTABLE

Chcete myslet na FT.AGGREGATE jako potrubí.

Prvním krokem bude seřadit produkty podle @skóre, takže později, v pořadí, až REDUCE TOLIST 1 @product_name , seznam se zobrazí seřazený:

SORTBY 2 @score DESC

Myslím, že již provádíte LOAD /APPLY pro práci se značkami jako TAG pole by jinak byla seskupena podle úplného seznamu značek řetězců oddělených čárkami pro každý produkt. Viz Povolení GROUPBY při problému s poli značek. Takže náš další krok je v plánu:

LOAD 1 @tags 
APPLY split(@tags) as TAG 

Poté seskupíme podle @TAG a použijeme dvě redukce. Náš seznam produktů vyjde seřazený.

GROUPBY 1 @TAG
    REDUCE SUM 1 @score AS total_score
    REDUCE TOLIST 1 @product_name AS products

Nakonec seřadíme podle @total_score :

SORTBY 2 @total_score DESC

Zde je konečný pohled na příkaz:

FT.AGGREGATE product_tags *
    SORTBY 2 @score DESC 
    LOAD 1 @tags 
    APPLY split(@tags) as TAG
    GROUPBY 1 @TAG
        REDUCE SUM 1 @score AS total_score 
        REDUCE TOLIST 1 @product_name AS products
    SORTBY 2 @total_score DESC

Zde je úplný seznam příkazů pro ilustraci výsledku. Použil jsem productXX se skóre XX pro snadné vizuální ověření třídění produktů.

> FT.CREATE product_tags NOOFFSETS NOHL NOFREQS STOPWORDS 0 SCHEMA product_name TEXT tags TAG score NUMERIC SORTABLE
OK
> FT.ADD product_tags pt:product10 1 FIELDS product_name product10 tags tag2,tag3,tag4 score 10
OK
> FT.ADD product_tags pt:product1 1 FIELDS product_name product1  tags tag1,tag2,tag3 score 1
OK
> FT.ADD product_tags pt:product100 1 FIELDS product_name product100 tags tag2,tag3 score 100
OK
> FT.ADD product_tags pt:product5 1 FIELDS product_name product5 tags tag1,tag4 score 5
OK
> FT.SEARCH product_tags *
1) (integer) 4
2) "pt:product5"
3) 1) "product_name"
   2) "product5"
   3) "tags"
   4) "tag1,tag4"
   5) "score"
   6) "5"
4) "pt:product100"
5) 1) "product_name"
   2) "product100"
   3) "tags"
   4) "tag2,tag3"
   5) "score"
   6) "100"
6) "pt:product1"
7) 1) "product_name"
   2) "product1"
   3) "tags"
   4) "tag1,tag2,tag3"
   5) "score"
   6) "1"
8) "pt:product10"
9) 1) "product_name"
   2) "product10"
   3) "tags"
   4) "tag2,tag3,tag4"
   5) "score"
   6) "10"
> FT.AGGREGATE product_tags * SORTBY 2 @score DESC LOAD 1 @tags APPLY split(@tags) as TAG GROUPBY 1 @TAG REDUCE SUM 1 @score AS total_score REDUCE TOLIST 1 @product_name AS products SORTBY 2 @total_score DESC
1) (integer) 4
2) 1) "TAG"
   2) "tag2"
   3) "total_score"
   4) "111"
   5) "products"
   6) 1) "product100"
      2) "product10"
      3) "product1"
3) 1) "TAG"
   2) "tag3"
   3) "total_score"
   4) "111"
   5) "products"
   6) 1) "product100"
      2) "product10"
      3) "product1"
4) 1) "TAG"
   2) "tag4"
   3) "total_score"
   4) "15"
   5) "products"
   6) 1) "product10"
      2) "product5"
5) 1) "TAG"
   2) "tag1"
   3) "total_score"
   4) "6"
   5) "products"
   6) 1) "product5"
      2) "product1"

Získáváte úplný seznam seřazených produktů, nejen 5 nejlepších. Na složitosti nezáleží, zaplatili jsme cenu. Dopad se týká ukládání do vyrovnávací paměti, užitečného zatížení sítě a vašeho klienta.

Pomocí skriptu Lua můžete omezit na prvních 5:

eval "local arr = redis.call('FT.AGGREGATE', KEYS[1], '*', 'SORTBY', '2', '@score', 'DESC', 'LOAD', '1', '@tags', 'APPLY', 'split(@tags)', 'as', 'TAG', 'GROUPBY', '1', '@TAG', 'REDUCE', 'SUM', '1', '@score', 'AS', 'total_score', 'REDUCE', 'TOLIST', '1', '@product_name', 'AS', 'products', 'SORTBY', '2', '@total_score', 'DESC') \n for i=2,(arr[1]+1) do \n arr[i][6] = {unpack(arr[i][6], 1, ARGV[1])} \n end \n return arr" 1 product_tags 5

Zde je přátelský pohled na výše uvedený skript Lua:

local arr = redis.call('FT.AGGREGATE', KEYS[1], ..., 'DESC')
for i=2,(arr[1]+1) do 
    arr[i][6] = {unpack(arr[i][6], 1, ARGV[1])}
end
return arr

Předáváme jeden klíč (index) a jeden argument (limit pro nejlepší produkty, ve vašem případě 5):1 product_tags 3 .

Díky tomu jsme omezili dopad pouze na ukládání do vyrovnávací paměti, ušetřili jsme užitečné zatížení sítě a zatížení vašeho klienta.




  1. MongoDB $ifNull

  2. Počítání uživatelů socket.io napříč horizontálními servery

  3. Heroku:Úlohy na pozadí v Pythonu s RQ

  4. Unikátní index v mongoose nefunguje