discours.io/quoter
5
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

proxy-reworked

Browse Source
This commit is contained in:
Untone
2024-10-22 19:34:08 +03:00
parent 30a2672ca8
commit 1c27714455
7 changed files with 125 additions and 116 deletions
Download Patch File Download Diff File Expand all files Collapse all files

57
src/app_state.rs
View File

@@ -3,7 +3,6 @@ use aws_config::BehaviorVersion;
use aws_sdk_s3::{config::Credentials, Client as S3Client};
use redis::{aio::MultiplexedConnection, AsyncCommands, Client as RedisClient};
use std::env;
use std::collections::HashMap;
use log::info;
use crate::s3_utils::get_s3_filelist;
@@ -12,7 +11,8 @@ use crate::s3_utils::get_s3_filelist;
pub struct AppState {
pub redis: MultiplexedConnection,
pub storj_client: S3Client,
pub storj_bucket: String
pub aws_client: S3Client,
pub bucket: String
}
const PATH_MAPPING_KEY: &str = "filepath_mapping"; // Ключ для хранения маппинга путей
@@ -34,14 +34,13 @@ impl AppState {
let s3_secret_key = env::var("STORJ_SECRET_KEY").expect("STORJ_SECRET_KEY must be set");
let s3_endpoint = env::var("STORJ_END_POINT")
.unwrap_or_else(|_| "https://gateway.storjshare.io".to_string());
let storj_bucket = env::var("STORJ_BUCKET_NAME").unwrap_or_else(|_| "discours-io".to_string());
let bucket = env::var("STORJ_BUCKET_NAME").unwrap_or_else(|_| "discours-io".to_string());
// Получаем конфигурацию для AWS S3
// let aws_access_key = env::var("AWS_ACCESS_KEY").expect("AWS_ACCESS_KEY must be set");
// let aws_secret_key = env::var("AWS_SECRET_KEY").expect("AWS_SECRET_KEY must be set");
// let aws_endpoint =
// env::var("AWS_END_POINT").unwrap_or_else(|_| "https://s3.amazonaws.com".to_string());
// let aws_bucket = env::var("AWS_BUCKET_NAME").unwrap_or_else(|_| "discours-io".to_string());
let aws_access_key = env::var("AWS_ACCESS_KEY").expect("AWS_ACCESS_KEY must be set");
let aws_secret_key = env::var("AWS_SECRET_KEY").expect("AWS_SECRET_KEY must be set");
let aws_endpoint =
env::var("AWS_END_POINT").unwrap_or_else(|_| "https://s3.amazonaws.com".to_string());
// Конфигурируем клиент S3 для Storj
let storj_config = aws_config::defaults(BehaviorVersion::latest())
@@ -60,7 +59,7 @@ impl AppState {
let storj_client = S3Client::new(&storj_config);
// Конфигурируем клиент S3 для AWS
/* let aws_config = aws_config::defaults(BehaviorVersion::latest())
let aws_config = aws_config::defaults(BehaviorVersion::latest())
.region("eu-west-1")
.endpoint_url(aws_endpoint)
.credentials_provider(Credentials::new(
@@ -72,54 +71,42 @@ impl AppState {
))
.load()
.await;
*/
// let aws_client = S3Client::new(&aws_config);
let aws_client = S3Client::new(&aws_config);
let app_state = AppState {
redis: redis_connection,
storj_client,
storj_bucket
aws_client,
bucket
};
// Кэшируем список файлов из Storj S3 при старте приложения
app_state.cache_storj_filelist().await;
// Кэшируем список файлов из AWS при старте приложения
app_state.cache_filelist().await;
app_state
}
/// Кэширует список файлов из Storj S3 в Redis.
pub async fn cache_storj_filelist(&self) {
pub async fn cache_filelist(&self) {
info!("caching storj filelist...");
let mut redis = self.redis.clone();
// Запрашиваем список файлов из Storj S3
let filelist = get_s3_filelist(&self.storj_client, &self.storj_bucket).await;
let filelist = get_s3_filelist(&self.aws_client, &self.bucket).await;
for [filename, filepath] in filelist.clone() {
if !filepath.starts_with("development") {
// Сохраняем список файлов в Redis, используя HSET для каждого файла
let _: () = redis
.hset(PATH_MAPPING_KEY, filename.clone(), filepath)
.await
.expect(&format!("Failed to cache file {} in Redis", filename));
}
// Сохраняем список файлов в Redis, используя HSET для каждого файла
let _: () = redis
.hset(PATH_MAPPING_KEY, filename.clone(), filepath)
.await
.expect(&format!("Failed to cache file {} in Redis", filename));
}
info!("cached {} files", filelist.len());
}
/// Получает кэшированный список файлов из Redis.
pub async fn get_cached_file_list(&self) -> Vec<String> {
let mut redis = self.redis.clone();
// Пытаемся получить кэшированный список из Redis
let cached_list: HashMap<String, String> = redis.hgetall(PATH_MAPPING_KEY).await.unwrap_or_default();
// Преобразуем HashMap в Vec<String>, используя значения (пути файлов)
cached_list.into_values().collect()
}
/// Получает путь в Storj из ключа (имени файла) в Redis.
/// Получает путь из ключа (имени файла) в Redis.
pub async fn get_path(&self, filename: &str) -> Result<Option<String>, actix_web::Error> {
let mut redis = self.redis.clone();
let new_path: Option<String> = redis