IT Pro - Servidores /

Carpeta con muchos archivos - latencia

Participa en el tema Carpeta con muchos archivos - latencia en el foro IT Pro - Servidores.
Hola, quería consultar sobre un problema que estamos teniendo y que va a empeorar. Tenemos ...

Buscar en este tema:
 
  •  
    JoDa escribió hace 7 meses
     
    ¿Mensaje inapropiado?
    #1 Carpeta con muchos archivos - latencia
    Hola, quería consultar sobre un problema que estamos teniendo y que va a empeorar.
    Tenemos un servidor Soft: Windows Server standard 2003 64 Bits R2 SP2 actualizado.
    Hard: Dell PowerEdge 2950 (4gb ram, y 3 discos Sas 15k en raid 5)
    El tema es que en varias carpetas estamos insertando archivos pdf.
    El tamaño de cada archivo pdf varía desde 40 kb a 120 kb en promedio. (son chicos)
    El problema es la Cantidad. En una de estas carpetas por ejemplo
    tenemos 57.000 archivos, y cada vez que se accede a ella por el explorer de
    windows se nota una tardanza, imaginenese cuando se debe ordenar los archivos
    por algún criterio ej: 'Fecha de Modificacion'...etc.
    Ahora súmenle acceder por red mapeando o vía \\server.
    Ya se nota una latencia al trabajar sobre esta carpeta.
    Lo peor viene ahora...
    A esa carpeta se le insertan 10.000 archivos por día y en total
    se calcula que debe almacenar 1.000.000 de archivos!! (si un millón!).

    El aplicativo que la utiliza busca un solo pdf y lo visualiza y eso
    esta andando bien lo visualiza inmediatamente.
    Pero los desarrolladores eventualmente tienen que trabajar con esta carpeta.

    Alguien tiene experiencia en estos casos?
    Me conviene levantar en este servidor el servicio de indexado?
    Existe alguna limitación de windows sobre archivos en carpetas?
    Cualquier idea me es de mucha ayuda! Gracias!!
    +
     
    0
    Me gusta
     
    | Más
  • #2 Re: Carpeta con muchos archivos - latencia

    Las implementaciones RAID 5 presentan un rendimiento malo cuando se someten a cargas de trabajo que incluyen muchas escrituras más pequeñas que el tamaño de una división (stripe). Esto se debe a que la paridad debe ser actualizada para cada escritura, lo que exige realizar secuencias de lectura, modificación y escritura tanto para el bloque de datos como para el de paridad. Implementaciones más complejas incluyen a menudo cachés de escritura no volátiles para reducir este problema de rendimiento.

    Supongo que por ahí podes empezar a buscar una solución (caches no volátiles)
    Si lo pudiste resolver comentalo
    Si no lo pudiste resolver mucha suerte
    Saludos
    Me gusta este mensaje
  • #3 Re: Carpeta con muchos archivos - latencia

    parasito1, tu comentario es correcto.Desde mi punto de vista el problema es la cantidad de archivos que puede mostrarte el Explorador de Windows.Tuve una situacion similar. Muchisimos archivos en un folder a causa de un Log de una app.No podiamos hacer un browse de la carpeta por windows (W2K3 SP2) , siempre se colgaba el explorador de archivos.Para mi, la solucion aca puede ser mover los archivos a subcarpetas, de manera que en "\\carpeta\" siempre exista una cantidad de archivos que se puedan explorar tranquilamente...Cuando llega el limite, un BAT o VBS mueve los archivos a "\\carpeta\sub_carpeta1".Es mas facil manejarlos de esta forma a nivel windows. En cantidades manejables.Los programadores tienen que hacer sus busquedas en \\carpeta y sus subcarpetas...me parece..
    Me gusta este mensaje
  • #4 Re: Carpeta con muchos archivos - latencia

    Estoy de acuerdo pero estamos hablando de por lo menos 20 subcarpetas o más.......
    habría que ver si todos los pdf deben estar disponibles para todos o se puede mejorar la organización, De todas formas en cualquier sistema Windows se nota una ralentización importante al manejar cantidades grandes de archivos pequeños, aumentado por el sistema RAID 5, es un desafío lindo para JoDa darle solución.
    Si la encuentra que la comente, si soluciona algo pero no todo que vuelva a responder así tratamos de tirarle una mano
    Saludos
    y Buena suerte
    Me gusta este mensaje
  • #5 Re: Carpeta con muchos archivos - latencia

    Todo sigue igual, gracias por sus comentarios.
    Tendría que preguntar a quienes la van a manejar por subdivisiones. (En eso estoy)
    Pero por las dudas no se pueda, tendría que analizar mas alternativas.
    La carpeta hoy tiene 89.000 archivos y va a seguir creciendo.
    Saludos.-
    Me gusta este mensaje


Estadísticas del tema
  • 4 RESPUESTAS
  • 403 VISTAS
  • 3 USUARIOS RESPONDIERON
 
Ir arriba
Contacto | Acerca de | Ayuda | Términos Legales | privacidad | Pautas de convivencia | Mapa de los foros | TrabajÁ con nosotros
©2008 Psicofxp.com S.A. - Todos los derechos reservados
Certifica IAB