search-cached-non-empty-only-fix
This commit is contained in:
parent
102eae1c98
commit
3d90d9c81d
|
@ -12,11 +12,8 @@ ELASTIC_HOST = os.environ.get("ELASTIC_HOST", "").replace("https://", "")
|
||||||
ELASTIC_USER = os.environ.get("ELASTIC_USER", "")
|
ELASTIC_USER = os.environ.get("ELASTIC_USER", "")
|
||||||
ELASTIC_PASSWORD = os.environ.get("ELASTIC_PASSWORD", "")
|
ELASTIC_PASSWORD = os.environ.get("ELASTIC_PASSWORD", "")
|
||||||
ELASTIC_PORT = os.environ.get("ELASTIC_PORT", 9200)
|
ELASTIC_PORT = os.environ.get("ELASTIC_PORT", 9200)
|
||||||
ELASTIC_AUTH = f"{ELASTIC_USER}:{ELASTIC_PASSWORD}" if ELASTIC_USER else ""
|
ELASTIC_URL = os.environ.get("ELASTIC_URL", f"https://{ELASTIC_USER}:{ELASTIC_PASSWORD}@{ELASTIC_HOST}:{ELASTIC_PORT}")
|
||||||
ELASTIC_URL = os.environ.get(
|
REDIS_TTL = 86400 # 1 день в секундах
|
||||||
"ELASTIC_URL", f"https://{ELASTIC_AUTH}@{ELASTIC_HOST}:{ELASTIC_PORT}"
|
|
||||||
)
|
|
||||||
REDIS_TTL = 86400 # 1 day in seconds
|
|
||||||
|
|
||||||
index_settings = {
|
index_settings = {
|
||||||
"settings": {
|
"settings": {
|
||||||
|
@ -47,7 +44,7 @@ index_settings = {
|
||||||
|
|
||||||
expected_mapping = index_settings["mappings"]
|
expected_mapping = index_settings["mappings"]
|
||||||
|
|
||||||
# Create an event loop
|
# Создание цикла событий
|
||||||
search_loop = asyncio.get_event_loop()
|
search_loop = asyncio.get_event_loop()
|
||||||
|
|
||||||
|
|
||||||
|
@ -55,9 +52,9 @@ class SearchService:
|
||||||
def __init__(self, index_name="search_index"):
|
def __init__(self, index_name="search_index"):
|
||||||
self.index_name = index_name
|
self.index_name = index_name
|
||||||
self.client = None
|
self.client = None
|
||||||
self.lock = asyncio.Lock() # Create an asyncio lock
|
self.lock = asyncio.Lock()
|
||||||
|
|
||||||
# Only initialize the instance if it's not already initialized
|
# Инициализация клиента OpenSearch
|
||||||
if ELASTIC_HOST:
|
if ELASTIC_HOST:
|
||||||
try:
|
try:
|
||||||
self.client = OpenSearch(
|
self.client = OpenSearch(
|
||||||
|
@ -72,17 +69,19 @@ class SearchService:
|
||||||
)
|
)
|
||||||
logger.info("Клиент OpenSearch.org подключен")
|
logger.info("Клиент OpenSearch.org подключен")
|
||||||
|
|
||||||
# Create a task and run it in the event loop
|
# Создание задачи и запуск в цикле событий
|
||||||
search_loop.create_task(self.check_index())
|
search_loop.create_task(self.check_index())
|
||||||
except Exception as exc:
|
except Exception as exc:
|
||||||
logger.error(f" {exc}")
|
logger.error(f"Ошибка подключения к OpenSearch: {exc}")
|
||||||
self.client = None
|
self.client = None
|
||||||
|
else:
|
||||||
|
logger.warning("Задайте переменные среды для подключения к серверу поиска")
|
||||||
|
|
||||||
def info(self):
|
def info(self):
|
||||||
if isinstance(self.client, OpenSearch):
|
if isinstance(self.client, OpenSearch):
|
||||||
logger.info(" Поиск подключен") # : {self.client.info()}')
|
logger.info("Поиск подключен")
|
||||||
else:
|
else:
|
||||||
logger.info(" * Задайте переменные среды для подключения к серверу поиска")
|
logger.warning("Задайте переменные среды для подключения к серверу поиска")
|
||||||
|
|
||||||
def delete_index(self):
|
def delete_index(self):
|
||||||
if self.client:
|
if self.client:
|
||||||
|
@ -105,39 +104,39 @@ class SearchService:
|
||||||
index=self.index_name, body=expected_mapping
|
index=self.index_name, body=expected_mapping
|
||||||
)
|
)
|
||||||
else:
|
else:
|
||||||
logger.info(f"найден существующий индекс {self.index_name}")
|
logger.info(f"Найден существующий индекс {self.index_name}")
|
||||||
# Check if the mapping is correct, and recreate the index if needed
|
# Проверка и обновление структуры индекса, если необходимо
|
||||||
result = self.client.indices.get_mapping(index=self.index_name)
|
result = self.client.indices.get_mapping(index=self.index_name)
|
||||||
if isinstance(result, str):
|
if isinstance(result, str):
|
||||||
result = json.loads(result)
|
result = json.loads(result)
|
||||||
if isinstance(result, dict):
|
if isinstance(result, dict):
|
||||||
mapping = result.get("mapping")
|
mapping = result.get(self.index_name, {}).get("mappings")
|
||||||
if mapping and mapping != expected_mapping:
|
if mapping and mapping != expected_mapping:
|
||||||
logger.debug(f" найдена структура индексации: {mapping}")
|
logger.debug(f"Найдена структура индексации: {mapping}")
|
||||||
logger.warn(
|
logger.warn("Требуется другая структура индексации, переиндексация")
|
||||||
" требуется другая структура индексации, переиндексация"
|
|
||||||
)
|
|
||||||
await self.recreate_index()
|
await self.recreate_index()
|
||||||
|
else:
|
||||||
|
logger.error("клиент не инициализован, невозможно проверить индекс")
|
||||||
|
|
||||||
async def recreate_index(self):
|
async def recreate_index(self):
|
||||||
if self.client:
|
if self.client:
|
||||||
async with self.lock:
|
async with self.lock:
|
||||||
self.client.indices.delete(
|
self.client.indices.delete(index=self.index_name, ignore_unavailable=True)
|
||||||
index=self.index_name, ignore_unavailable=True
|
|
||||||
)
|
|
||||||
await self.check_index()
|
await self.check_index()
|
||||||
|
else:
|
||||||
|
logger.error("клиент не инициализован, невозможно пересоздать индекс")
|
||||||
|
|
||||||
def index(self, shout):
|
def index(self, shout):
|
||||||
if self.client:
|
if self.client:
|
||||||
id_ = str(shout.id)
|
id_ = str(shout.id)
|
||||||
logger.debug(f"Индексируем пост {id_}")
|
logger.debug(f"Индексируем пост {id_}")
|
||||||
asyncio.create_task(self.perform_index(shout))
|
asyncio.create_task(self.perform_index(shout))
|
||||||
|
else:
|
||||||
|
logger.error("клиент не инициализован, невозможно проидексировать")
|
||||||
|
|
||||||
async def perform_index(self, shout):
|
async def perform_index(self, shout):
|
||||||
if self.client:
|
if self.client:
|
||||||
self.client.index(
|
self.client.index(index=self.index_name, id=str(shout.id), body=shout.dict())
|
||||||
index=self.index_name, id=str(shout.id), body=shout.dict()
|
|
||||||
)
|
|
||||||
|
|
||||||
async def search(self, text, limit, offset):
|
async def search(self, text, limit, offset):
|
||||||
logger.debug(f"Ищем: {text}")
|
logger.debug(f"Ищем: {text}")
|
||||||
|
@ -150,7 +149,9 @@ class SearchService:
|
||||||
|
|
||||||
results = [{**hit["_source"], "score": hit["_score"]} for hit in hits]
|
results = [{**hit["_source"], "score": hit["_score"]} for hit in hits]
|
||||||
|
|
||||||
# Use Redis as cache with TTL
|
# если результаты не пустые
|
||||||
|
if results:
|
||||||
|
# Кэширование в Redis с TTL
|
||||||
redis_key = f"search:{text}"
|
redis_key = f"search:{text}"
|
||||||
await redis.execute(
|
await redis.execute(
|
||||||
"SETEX",
|
"SETEX",
|
||||||
|
@ -158,6 +159,7 @@ class SearchService:
|
||||||
REDIS_TTL,
|
REDIS_TTL,
|
||||||
json.dumps(results, cls=CustomJSONEncoder),
|
json.dumps(results, cls=CustomJSONEncoder),
|
||||||
)
|
)
|
||||||
|
return results
|
||||||
return []
|
return []
|
||||||
|
|
||||||
|
|
||||||
|
@ -167,6 +169,6 @@ search_service = SearchService()
|
||||||
async def search_text(text: str, limit: int = 50, offset: int = 0):
|
async def search_text(text: str, limit: int = 50, offset: int = 0):
|
||||||
payload = []
|
payload = []
|
||||||
if search_service.client:
|
if search_service.client:
|
||||||
# Use OpenSearchService.search_post method
|
# Использование метода search_post из OpenSearchService
|
||||||
payload = await search_service.search(text, limit, offset)
|
payload = await search_service.search(text, limit, offset)
|
||||||
return payload
|
return payload
|
||||||
|
|
Loading…
Reference in New Issue
Block a user