diff --git a/.obsidian/workspace.json b/.obsidian/workspace.json index bf1ab27..0b18e8c 100644 --- a/.obsidian/workspace.json +++ b/.obsidian/workspace.json @@ -185,6 +185,9 @@ }, "active": "f76c0dfd568461ec", "lastOpenFiles": [ + "Pasted image 20260224113246.png", + "Pasted image 20260224112101.png", + "Pasted image 20260224110141.png", "Pasted image 20260217115003.png", "CUARTO/PHAE/Teoria_2526.md", "Pasted image 20260210134109.png", @@ -195,9 +198,6 @@ "Pasted image 20260205135941.png", "Pasted image 20260205135914.png", "Pasted image 20260129132034.png", - "Pasted image 20260129130447.png", - "Pasted image 20260129125719.png", - "Pasted image 20260129125503.png", "CUARTO/AII/Presentacion.md", "CUARTO/PHAE", "CUARTO/SSII/Teoria_2526.md", diff --git a/CUARTO/AII/Teoria_2526.md b/CUARTO/AII/Teoria_2526.md index 803dbbc..52045f0 100644 --- a/CUARTO/AII/Teoria_2526.md +++ b/CUARTO/AII/Teoria_2526.md @@ -55,4 +55,118 @@ El voto de cada link es **proporcional** a la importancia de la **página fuente - Los IR tratan con **repositorios grandes de datos no estructurados** mientras que los SR están enfocados a **tópicos únicos**. - Los IR están recibiendo cada día más **personalización**. - Los IR **localizan contenido relevante** para el usuario, que debería ser capaz de evaluar dicha relevancia. -- Los RS **diferencian contenido relevante** para el usuario, que no tiene conocimiento para evaluar la relevancia. \ No newline at end of file +- Los RS **diferencian contenido relevante** para el usuario, que no tiene conocimiento para evaluar la relevancia. +# Recuperación de información booleana +## 1. Introducción +Usar un modelo booleano significa que la información necesita ser traducido a operadores booleanos. +**Colección:** conjunto de documentos. +**Objetivo:** recuperar documentos con información relevante para las necesidades del usuario y que lo ayuda a completar una tarea. +### Precisión y cobertura +**Precisión:** fracción de los documentos recuperados que son relevantes. +**Cobertura:** fracción de los documentos relevantes que se recuperan. +![[Pasted image 20260224110141.png|500]] +### Matriz de incidencia término-documento + +| | Antony and Cleopatra | Julius Caesar | The Tempest | Hamlet | Othello | Macbeth | +| ------------- | -------------------- | ------------- | ----------- | ------ | ------- | ------- | +| **Antony** | 1 | 1 | 0 | 0 | 0 | 1 | +| **Brutus** | 1 | 1 | 0 | 1 | 0 | 0 | +| **Caesar** | 1 | 1 | 0 | 1 | 1 | 1 | +| **Calpurnia** | 0 | 1 | 0 | 0 | 0 | 0 | +| **Cleopatra** | 1 | 0 | 0 | 0 | 0 | 0 | +| **mercy** | 1 | 0 | 1 | 1 | 1 | 1 | +| **worser** | 1 | 0 | 1 | 1 | 1 | 0 | +Tenemos un vector booleano par cada término. +#### Para colecciones más grandes... +Con $N = 1\times 10^6$ de documentos de ~$1000$ palabras (6GB de datos considerando cada palabra 6B). Suponemos $M = 500\times 10^3$ términos distintos. La matriz sería de $N\times M$. +## 2. Índice invertido +Para cada término $t$, debemos almacenar una lista de documentos que contengan $t$. Como lista asociada a $t$ se suele usar una **lista enlazada**. +### Construcción del índice +1. **Tokenizar:** "limpiar" el documento para quedarnos con _tokens_ que no son más que palabras o términos libres de signos de puntuación. +2. **Módulos lingüísticos:** los hay más complejos y más simples (_stemmer_). Un ejemplo podría ser poner todo en minúsculas, quitar plurales, etc. +3. **Indexar:** se añaden nodos (**docID**) a la lista enlazada asociada a $t$ que serían los documentos donde aparece $t$. Los pasos para indexar son: + 1. Tokenizar. + 2. Ordenar. + 3. Construir el diccionario de términos: lista enlazada de postings. +### Haciendo queries +Si queremos un documento en el que salgan **Brutus** y **Caesar** (Brutus AND Caesar), el algoritmo pone un puntero al inicio de las dos listas enlazadas, si coinciden los **docID** se añaden los dos y se incrementan los punteros, y si no, se incrementa el más pequeño. +![[Pasted image 20260224112101.png|300]] +#### Optimización de queries +Si se necesita hacer la AND entre varios términos, se empieza con el que tenga la lista enlazada de postings más pequeña. En caso de las OR, se estima el tamaño sumando las frecuecias de los documentos. +### Qué no puede hacer la RI booleana +- No se pueden buscar frases. Ej: Universidad de Sevilla. +- Proximidad: PALABRA1 cerca de PALABRA2 +- Zonas: (autor = JKR) AND (text contains Harry Potter) +## 3. Mejora del algoritmo merge pointers +Se pueden usar punteros de salto. +![[Pasted image 20260224113246.png|400]] +La idea es poder avanzar varios postings si uno de los dos punteros es muy pequeño en comparación al otro. Hay que balancear, si ponemos muchos punteros de salto podemos saltar muchas veces pero habría demasiadas comparaciones. Si ponemos pocos hay menos comparación pero los saltos son menos exitosos debido a la distancia entre postings. Una heurística común para postings de longitud $L$ es $\sqrt(L)$. +## 4. Estructuras de datos para índices invertidos +### Tablas hash +Cada término se hashea. La búsqueda es más rápida que en un árbol ($O(1)$), pero: +- No hay forma de encontrar variantes (judgement/judgment). +- No se puede buscar prefijos +- Si el vocabulario crece, necesitamos **rehashear todo**. +### B-Trees +Cada vértice tiene un número de hijos en el intervalo $[a,b]~~a,b\in N$. Resuelven el problema de buscar por prefijo. Es más lento $O(log~M)$ al buscar y además hay que rebalancear el árbol. +# Recuperación de información vectorial +## 1. Introducción +Es un buen sistema para usuarios expertos que sepan usar operadores lógicos para formar expresiones complejas en sus queries. El modelo ranked/vectorial tiene varias ventajas: +- El sistema devuelve unos resultados ordenados respecto a la query hecha. +- Se suelen hacer las queries en formato de texto libre **PERO NO ES OBLIGATORIO**. +## 2. Estableciendo el ranking +Necesitamos aplicar una puntuación a los documentos en función de cuanto se parezca a la query del usuario. Hay varias formas de asignar puntuación. +### 1. Coeficiente de Jaccard +Es una medida comúnmente usada de intersección de dos conjuntos $A$ y $B$. +$$ +jaccard(A,B)=|A\cap B|~~/~~|A\cup B| +$$ +$$ +jaccard(A,A) = 1 +$$ +$$ +jaccard(A,B)=0~~if~~A\cap B =0 +$$ +#### Problemas +- No tiene en cuenta la frecuencia del término en el documento. +- Términos **raros** son más informativos que los comunes, y tampoco los tiene en cuenta. +- Necesitamos normalizar. +### 2. Modelo bolsa de palabras +No tiene en cuenta el orden. _John is quicker than Mary_ y _Mary is quicker than John_ tendrían los mismos vectores. +## 3. Frecuencias +### Frecuencia del término tf +La frecuencia del término $tf_{t,d}$ de un término $t$ en un documento $d$ está definida por el número de veces que $t$ aparece en $d$. + +Se suaviza con el logaritmo: +$$ +w_{t,d}= +\begin{cases} + 1+\log{tf_{t,d}}~,~~~~\text{si}~~ tf_{t,d} > 0 \\ + 0,~~~~\text{e.o.c} +\end{cases} +$$ + +### Frecuencia del documento df +La frecuencia del documento del término $t$, $df_t$ es el número de documentos que contienen a $t$. Es una medida inversa de la "informatividad" de $t$ (cuanto más pequeña mejor). $df_t \leq N$. Definimos la **frecuencia inversa del documento** de $t$ como: +$$ +idf_t=\log{(\frac{N}{df_t})} +$$ +#### Efecto del idf en el ranking +No tiene efecto en el ranking, es el mismo para todas las palabras. +### Peso tf-idf +$$ +W_{t,d}=(1+\log{tf_{t,d}})\times\log{(\frac{N}{df_t})} +$$ +### Puntuación +$$ +Score(d,q)=\sum_{t\in q\cap d} tf_{t,d}\times idf_t +$$ +## 4. Documentos y queries como vectores +Tenemos un espacio vectorial |V|-dimensional. Son vectores muy dispersos con muchos 0's. Los términos son los ejes del espacio y los documentos son puntos o vectores en este espacio. + +Hacemos lo mismo con las queries, representarlas como vectores en el espacio. +### Formalizando la proximidad entre vectores en el espacio +#### Distancia Euclídea +No es buena idea puesto que si dos vectores se superponen (porque son el mismo documento) pero tienen distinto módulo va a salir que hay distancia de un documento consigo mismo. +#### Mejor: usar el ángulo +Para usar el ángulo tenemos que normalizar los vectores volviéndolos unitarios y entonces podemos comparar la proximidad mediante el ángulo entre ellos. \ No newline at end of file diff --git a/Pasted image 20260224110141.png b/Pasted image 20260224110141.png new file mode 100644 index 0000000..81d861c Binary files /dev/null and b/Pasted image 20260224110141.png differ diff --git a/Pasted image 20260224112101.png b/Pasted image 20260224112101.png new file mode 100644 index 0000000..c365105 Binary files /dev/null and b/Pasted image 20260224112101.png differ diff --git a/Pasted image 20260224113246.png b/Pasted image 20260224113246.png new file mode 100644 index 0000000..e43d1a8 Binary files /dev/null and b/Pasted image 20260224113246.png differ