discours.io/quoter
5
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

0.0.6-onecachekey

Browse Source
This commit is contained in:
Untone
2024-10-22 09:38:30 +03:00
parent 9fcce86075
commit 8ff3f018b5
7 changed files with 95 additions and 123 deletions
Download Patch File Download Diff File Expand all files Collapse all files

95
src/app_state.rs
View File

@@ -10,14 +10,14 @@ use crate::s3_utils::check_file_exists;
#[derive(Clone)]
pub struct AppState {
pub redis: MultiplexedConnection,
pub s3_client: S3Client,
pub s3_bucket: String,
pub storj_client: S3Client,
pub storj_bucket: String,
pub aws_client: S3Client,
pub aws_bucket: String,
}
const FILE_LIST_CACHE_KEY: &str = "s3_file_list_cache"; // Ключ для хранения списка файлов в Redis
const PATH_MAPPING_KEY: &str = "path_mapping"; // Ключ для хранения маппинга путей
// const FILE_LIST_CACHE_KEY: &str = "s3_file_list_cache"; // Ключ для хранения списка файлов в Redis
const PATH_MAPPING_KEY: &str = "filepath_mapping"; // Ключ для хранения маппинга путей
const CHECK_INTERVAL_SECONDS: u64 = 60 * 60; // Интервал обновления списка файлов: 1 час
const WEEK_SECONDS: u64 = 604800;
@@ -37,7 +37,7 @@ impl AppState {
let s3_secret_key = env::var("STORJ_SECRET_KEY").expect("STORJ_SECRET_KEY must be set");
let s3_endpoint = env::var("STORJ_END_POINT")
.unwrap_or_else(|_| "https://gateway.storjshare.io".to_string());
let s3_bucket = env::var("STORJ_BUCKET_NAME").unwrap_or_else(|_| "discours-io".to_string());
let storj_bucket = env::var("STORJ_BUCKET_NAME").unwrap_or_else(|_| "discours-io".to_string());
// Получаем конфигурацию для AWS S3
let aws_access_key = env::var("AWS_ACCESS_KEY").expect("AWS_ACCESS_KEY must be set");
@@ -46,7 +46,7 @@ impl AppState {
env::var("AWS_END_POINT").unwrap_or_else(|_| "https://s3.amazonaws.com".to_string());
let aws_bucket = env::var("AWS_BUCKET_NAME").unwrap_or_else(|_| "discours-io".to_string());
// Конфигу<EFBFBD><EFBFBD>ируем клиент S3 для Storj
// Конфигурируем клиент S3 для Storj
let storj_config = aws_config::defaults(BehaviorVersion::latest())
.region("eu-west-1")
.endpoint_url(s3_endpoint)
@@ -55,12 +55,12 @@ impl AppState {
s3_secret_key,
None,
None,
"rust-s3-client",
"rust-storj-client",
))
.load()
.await;
let s3_client = S3Client::new(&storj_config);
let storj_client = S3Client::new(&storj_config);
// Конфигурируем клиент S3 для AWS
let aws_config = aws_config::defaults(BehaviorVersion::latest())
@@ -80,53 +80,51 @@ impl AppState {
let app_state = AppState {
redis: redis_connection,
s3_client,
s3_bucket,
storj_client,
storj_bucket,
aws_client,
aws_bucket,
};
// Кэшируем список файлов из S3 при старте приложения
app_state.cache_file_list().await;
// Кэшируем список файлов из Storj S3 при старте приложения
app_state.cache_storj_filelist().await;
app_state
}
/// Кэширует список файлов из Storj S3 в Redis.
pub async fn cache_file_list(&self) {
pub async fn cache_storj_filelist(&self) {
let mut redis = self.redis.clone();
// Запрашиваем список файлов из Storj S3
let list_objects_v2 = self.s3_client.list_objects_v2();
let list_objects_v2 = self.storj_client.list_objects_v2();
let list_response = list_objects_v2
.bucket(&self.s3_bucket)
.bucket(&self.storj_bucket)
.send()
.await
.expect("Failed to list files from S3");
.expect("Failed to list files from Storj");
if let Some(objects) = list_response.contents {
// Формируем список файлов без дубликатов по имени файла (без расширения)
let mut file_list = std::collections::HashMap::new();
for object in objects.iter() {
if let Some(key) = &object.key {
let parts: Vec<&str> = key.split('.').collect();
let filename = parts.first().unwrap_or(&"");
let ext = parts.get(1).unwrap_or(&"");
if ext.contains('/') {
continue;
}
let filename_with_extension = format!("{}.{}", filename, ext);
file_list.insert(filename_with_extension, key.clone());
if let Some(storj_objkey) = &object.key {
let filekey = storj_objkey.split('.')
.chain(std::iter::once("")) // Ensure the chain doesn't break on empty strings
.filter(|s| !s.is_empty()) // Filter out any empty strings
.map(|s| s.split('/')) // Map to Split iterator
.nth(0) // Get the first non-empty split result or default to &""
.and_then(|s| s.last()) // Call last() on the resulting iterator if it exists, otherwise None
.unwrap_or(&"");
// Сохраняем список файлов в Redis, используя HSET для каждого файла
let _: () = redis
.hset(PATH_MAPPING_KEY, filekey, storj_objkey)
.await
.expect("Failed to cache file in Redis");
}
}
// Сохраняем список файлов в Redis, используя HSET для каждого файла
for (filename, path) in file_list {
let _: () = redis
.hset(FILE_LIST_CACHE_KEY, filename, path)
.await
.expect("Failed to cache file in Redis");
}
}
}
@@ -135,7 +133,7 @@ impl AppState {
let mut redis = self.redis.clone();
// Пытаемся получить кэшированный список из Redis
let cached_list: HashMap<String, String> = redis.hgetall(FILE_LIST_CACHE_KEY).await.unwrap_or_default();
let cached_list: HashMap<String, String> = redis.hgetall(PATH_MAPPING_KEY).await.unwrap_or_default();
// Преобразуем HashMap в Vec<String>, используя значения (пути файлов)
cached_list.into_values().collect()
@@ -146,20 +144,20 @@ impl AppState {
let mut interval = interval(Duration::from_secs(CHECK_INTERVAL_SECONDS));
loop {
interval.tick().await;
self.cache_file_list().await;
self.cache_storj_filelist().await;
}
}
/// Сохраняет маппинг старого пути из AWS S3 на новый путь в Storj S3.
async fn save_path_by_filename_with_extension(
async fn save_aws2storj_mapping(
&self,
filename_with_extension: &str,
path: &str,
aws_filekey: &str,
storj_filekey: &str,
) -> Result<(), actix_web::Error> {
let mut redis = self.redis.clone();
// Храним маппинг в формате Hash: old_path -> new_path
redis
.hset::<_, &str, &str, ()>(PATH_MAPPING_KEY, filename_with_extension, path)
.hset::<_, &str, &str, ()>(PATH_MAPPING_KEY, aws_filekey, storj_filekey)
.await
.map_err(|_| ErrorInternalServerError("Failed to save path mapping in Redis"))?;
Ok(())
@@ -176,7 +174,7 @@ impl AppState {
}
/// Обновляет Storj S3 данными из Amazon S3
pub async fn update_filelist_from_aws(&self) {
pub async fn cache_aws_filelist(&self) {
// Получаем список объектов из AWS S3
let list_objects_v2 = self.aws_client.list_objects_v2();
@@ -188,23 +186,18 @@ impl AppState {
if let Some(key) = object.key {
// Получаем имя файла с расширением
let parts: Vec<&str> = key.split('.').collect();
let filename = parts.first().unwrap_or(&"");
let ext = parts.get(1).unwrap_or(&"");
if ext.contains('/') {
continue;
}
let filename_with_extension = format!("{}.{}", filename, ext);
let storj_filekey = parts.first().and_then(|s| s.split('/').last()).unwrap_or(parts.first().unwrap());
if filename.is_empty() {
if storj_filekey.is_empty() {
eprint!("[ERROR] empty filename: {}", key);
} else {
// Проверяем, существует ли файл на Storj S3
match check_file_exists(&self.s3_client, &self.s3_bucket, &key).await
match check_file_exists(&self.storj_client, &self.storj_bucket, &storj_filekey).await
{
Ok(false) => {
// Сохраняем маппинг пути
if let Err(e) =
self.save_path_by_filename_with_extension(&filename_with_extension, &key).await
self.save_aws2storj_mapping(&key, &storj_filekey).await
{
eprintln!("[ERROR] save {}: {:?}", key, e);
} else {
@@ -212,12 +205,12 @@ impl AppState {
}
}
Ok(true) => {
println!("Already exists in Storj: {}", filename_with_extension);
println!("Already exists in Storj: {}", storj_filekey);
}
Err(e) => {
eprintln!(
"[ERROR] check {}: {:?}",
filename_with_extension, e
storj_filekey, e
);
}
}