ISSN 0798 1015

Vol. 39 (Nº 05) Año 2018. Pág. 25

Evaluación de impacto de la implementación de un estándar de televisión digital terrestre para difundir contenidos educativos en zonas rurales

Impact assessment of the implementation of a digital terrestrial television standard to disseminate educational contents in rural areas

Ciro Diego RADICELLI García 1; Margarita del Rocío POMBOZA Floril 2; Cristina Alexandra POMBOZA Floril 3; Cristian Hugo MORALES Alarcón 4

Recibido: 24/09/2017 • Aprobado: 20/10/2017

Contenido

1. Introducción

2. Metodología

3. Resultados

4. Conclusiones

Referencias bibliográficas

1. Introducción

Evaluar constituye un proceso sistemático, metódico y neutral que indica los efectos de un proyecto o programa, en adelante PP, en cuanto a las metas propuestas y los recursos utilizados. (Bello, 2009) dice que el impacto son los efectos a mediano y largo plazo que tiene un PP para la población objetivo y su entorno, sean estos deseados o no.

(Milanés et al, 2010) dicen que una evaluación de impacto identifica si existen o no relaciones de causa-efecto entre el PP y los resultados obtenidos, y que pueden existir otros factores que ocurren durante el periodo de intervención de los mismos. Para ello en la evaluación de impacto es importante la construcción  de un escenario contrafactual a través de métodos estadísticos, es decir construir una situación hipotética en la que se hubiesen encontrado los beneficiarios en caso de que dicho PP no se hubiese implementado (Urrutia & Vega, 2012). A través de la comparación de la realidad con esta situación contrafactual, se intenta aislar la influencia de estos factores externos que inciden en los resultados, evaluando de esta manera si efectivamente existen relaciones de causa-efecto (efecto causal) entre el PP y los resultados. En el caso de esta investigación se trató de establecer el efecto causal de la posible implementación de un nuevo estándar de televisión digital terrestre (TDT) denominado Digital Video  Broadcasting -  Return Channel Terrestrial 2nd (DVB-RCT2), definido por (Radicelli et al, 2015), para proveer conectividad a internet y difundir contenidos educativos en zonas rurales de la provincia de Chimborazo, ubicada en la República del Ecuador.

El acceso a Internet en zonas rurales de América Latina es deficiente, situación que no sucede con la televisión (TV) la cual es más accesible que el Internet, la telefonía móvil, e incluso que la radio (Gallego, 2013). Por lo que se pretende utilizar las características de los servicios de difusión de TV, específicamente los de TDT para proporcionar conectividad a Internet en lugares donde solo llega la señal de TV, además de reducir la brecha digital existente, permitiendo la utilización de aplicaciones TIC como aprendizaje, salud, gobierno en línea, generando igualdad de oportunidades y fomentando la participación ciudadana, pretendiendo con esto generar un impacto positivo en la sociedad (Rondón, 2004).

Según (Abdalá, 2004), la evaluación es un proceso que facilita la identificación, recolección e interpretación de información útil a los responsables de la ejecución y gestión de los PP. Dicha evaluación consta de  etapas, mismas que van en relación al momento en el cual se desarrollan, siendo estas: (i) EX ANTE, se cumple antes del inicio de la ejecución, evalúa el contexto socioeconómico, problemas, necesidades, población objetivo; entre otros; (ii) INTRA, se desarrolla durante la ejecución del programa, evalúa las actividades del proceso mientras estas se están desarrollando; (iii) POST, corresponde con la finalización inmediata de la ejecución del proyecto, detectando, registrando y analizando resultados tempranos; (iv) EX POST, se realiza tiempo después de concluida la ejecución. En (Gertler et al, 2011), se definen las fases para realizar una evaluación de impacto.

2.1. Fase 1 – Preparara la Evaluación

Identificar el problema a ser evaluado

El acceso a Internet en zonas rurales es deficiente, razón por la cual la difusión de contenidos digitales educativos es nula.

Formular la pregunta de evaluación

¿Cuál es el impacto de la posible implementación del estándar de TDT DVB-RCT2, para proveer conectividad a Internet en zonas rurales, y difundir contenidos educativos?.

Definir objetivos de la investigación

Objetivo general

• Evaluar un nuevo estándar de TDT para brindar servicios de conectividad a Internet en zonas rurales en donde sólo llega la señal de televisión.

Objetivos específicos

• Reducir la brecha digital en zonas donde la conexión a Internet es deficiente.
• Permitir la utilización de aplicaciones TIC como aprendizaje, salud, gobierno en línea en zonas rurales, generando igualdad de oportunidades y fomentando la participación ciudadana.
• Reducir los costos de conexión a Internet en zonas rurales.

Como se muestran en las tablas 1 y 2, para validar dichos objetivos se realizó una ponderación utilizando la metodología de selección de objetivos EMARF, en inglés SMART (Specific, Measurable, Attributable, Realistic, Targeted), misma que asegura que los objetivos formulen de forma adecuada los indicadores (Rivadeneira, 2017), mediante los cuales se podrá determinar el impacto que generaría la posible implementación de DVB-RCT2, para proveer conectividad a internet en zonas rurales y permitir el uso de aplicaciones TIC. Para esto, se utilizarán los objetivos cuyo puntaje total sea muy bueno (mayor igual a 17), utilizando los siguientes niveles de ponderación: 1=Muy malo; 2=Malo; 3=Regular; 4=Bueno; 5=Muy bueno.

Tabla 1
Matriz de validación del objetivo general – metodología SMART

Fuente: Elaboración propia

-----

Tabla 2
Matriz de validación de los objetivos específicos – metodología SMART

Fuente: Elaboración propia

Especificar la teoría del cambio – identificación de las variables de la evaluación de impacto

Puesto que en zonas rurales del Ecuador, escasamente se cuenta con el servicio de Internet (Alvarado et al, 2017). Se ha planteado en esta investigación que una solución para lograr acceso a Internet en estas zonas, sería usar un canal de retorno inalámbrico de TDT (Radicelli & Cardona, 2016), para lo cual se reutilizaría la infraestructura de la TV analógica para la TDT, aumentando así la penetración y disminuyendo los costos de implementación, puesto que llegaría a los hogares que tengan acceso a la TV. Para utilizar la solución de TDT propuesta (DVB-RCT2), es necesario liberar el espectro radioeléctrico mediante el proceso de dividendo digital, que en América usa la banda de 700 MHz (Suing et al, 2014).

Identificar las variables de la evaluación de impacto

Se utilizaron variables cuantitativas para medir si la implementación de DVB-RCT2, proveería de conectividad a Internet en zonas rurales, para difundir contenidos educativos.

Variable 1: Porcentaje de espectro radioeléctrico liberado (canales liberados) en el Ecuador; Variable 2: Porcentaje de hogares con TV en zonas rurales de Chimborazo; Variable 3: Porcentaje de hogares con acceso a Internet en zonas rurales de Chimborazo; Variable 4: Porcentaje de personas que acceden a Internet en zonas rurales de Chimborazo; Variable 5: Porcentaje de centros escolares públicos con acceso a Internet en zonas rurales de Chimborazo; Variable 6: Porcentaje de estudiantes que acceden a Internet en zonas rurales de Chimborazo; Variable 7: Porcentaje de personas que acceden a servicios en línea en zonas rurales de Chimborazo; Variable 8: Porcentaje de disminución de costos de conexión a internet en zonas rurales.

Determinar la cadena de resultados

En la figura 1 se ilustra la cadena de resultados para la implementación de DVB-RCT2.

Figura 1
Cadena de resultados posible implementación de DVB-RCT2

Fuente: Elaboración propia, con base en (Gertler et al, 2011)

Formular la hipótesis

El diseño del nuevo estándar DVB-RCT2, basado en las funcionalidades de la tecnología de TDT de segunda generación DVB-T2, y en los principios de la tecnología con canal de retorno inalámbrico DVB-RCT, permitirá brindar servicios de conectividad a Internet en zonas rurales donde sólo llega la señal de televisión, y difundir contenidos digitales educativos.

Definir indicadores de evaluación de impacto

En esta investigación, se describirán indicadores que tendrán relación con los objetivos, general o específicos al cual van asociados. Dichos objetivos tendrán una topología de efecto, puesto que se desea proyectar los cambios resultantes en la población de zonas rurales, luego de la implementación del estándar DVB-RCT2.

Seleccionar los indicadores

Para asegurar que los indicadores propuestos se ajusten a la realidad y sean lo más idóneos, se utilizó la metodología CREMA (Claro, Relevante, Económico, Medible, Adecuado) desarrollada por el Banco Mundial (Cobeña, 2016). En la selección de indicadores se escogieron los que brindaron información de calidad y que fueron fáciles de aplicar. Razón por la cual, como se indica en la tabla 3, se utilizaron aquellos cuya valoración fue muy buena (17 puntos o más).

Tabla 3
Selección de indicadores utilizando la metodología CREMA

Fuente: Elaboración propia

Indicadores del objetivo general

• Indicador 1 – objetivo general (I1-OG)

Acceso a Internet en zonas rurales en donde sólo llega la señal de televisión.

• Indicador 2 – objetivo general (I2-OG)

Estándar con canal de retorno de TDT DVB-RCT2 basado en las nuevas funcionalidades que presenta la tecnología de TDT de segunda generación DVB-T2 y en los principios de la tecnología con canal de retorno inalámbrico DVB-RCT diseñado.

• Indicador 3 – objetivo general (I3-OG)

Porcentaje de espectro radioeléctrico liberado (canales liberados) en la República del Ecuador.

• Indicador 4 – objetivo general (I4-OG)

Porcentaje de hogares con TV en zonas rurales de la provincia de Chimborazo.

Indicadores del objetivo específico 1

• Indicador 1 – objetivo específico 1 (I1-OE1)

Porcentaje de hogares con acceso a Internet en zonas rurales de la provincia de Chimborazo.

• Indicador 2 – objetivo específico 1 (I2-OE1)

Porcentaje de personas que acceden a Internet en zonas rurales de la provincia de Chimborazo.

Indicadores del objetivo específico 2

• Indicador 1 – objetivo específico 2 (I1-OE2)

Porcentaje de centros educativos con acceso a Internet en zonas rurales de la provincia de Chimborazo.

• Indicador 2 – objetivo específico 2 (I2-OE2)

Porcentaje de estudiantes que acceden a Internet en zonas rurales de la provincia de Chimborazo.

• Indicador 3 – objetivo específico 2 (I3-OE2)

Porcentaje de personas que acceden a servicios en línea en zonas rurales de la provincia de Chimborazo.

Indicadores del objetivo específico 3

• Indicador 1 – objetivo específico 3 (I1-OE3)

Porcentaje de disminución de costos de conexión a internet en zonas rurales.

Con los indicadores escogidos, se formuló una ficha metodológica. A modo de ejemplo, la tabla 4 muestra la ficha del indicador 3 del objetivo general (I3-OG).

Tabla 4
Hoja de vida del indicador 3 del objetivo general

Fuente: Elaboración propia

2.2. Fase 2 – Hacer operativo el diseño de la evaluación

Se eligió el método de evaluación, el cual permitió seleccionar los grupos de comparación para para realizar la evaluación de impacto, con lo cual se pudo estimar las relaciones causa-efecto de la posible implementación de DVB-RCT2.

Definir reglas operativas

En la tabla 5, se detallan las reglas operativas utilizadas para la elección del grupo de comparación, mismas que cumplieron con los criterios de equidad, transparencia y rendición de cuentas; y respondieron de manera clara a las preguntas de financiación (¿Contará el proyecto con suficientes recursos para atender a todos los beneficiarios elegibles?), focalización (¿El proyecto está focalizado en función de un umbral de elegibilidad o está a disposición de todos?), y calendarización (¿Cómo se incorporan durante el transcurso del proyecto los posibles beneficiarios?).

Tabla 5
Reglas operativas para la elección del grupo de comparación

Fuente: Elaboración propia

Elegir el método de evaluación de impacto

El método de evaluación de impacto basado en las reglas operativas, permitió encontrar un grupo de comparación válido. De los métodos existentes, se utilizó para esta investigación el método combinado de emparejamiento con diferencias en diferencias (emparejamiento con DD), debido a que considera que tanto el grupo de tratamiento como el de comparación son muy similares, condición que se logró con el cumplimiento de las reglas operativas definidas.

Definir la relación entre las reglas operativas y los métodos de evaluación de impacto

Según el método de evaluación de impacto y las reglas operativas definidas, se concluye que la relación entre dichas reglas y el método de evaluación seleccionado, se encuentra en la celda A2 del Cuadro 10.1 (Expansión en fases a lo largo del tiempo; sin índice continuo de focalización y umbral), presentado en (Gertler et al, 2011).

Determinar la escala mínima de intervención

Como se detalla en (Gairín, 2010), implementar un análisis de impacto a un nivel superior, por ejemplo provincia o estado, puede ser problemático debido a tres razones: (i) el tamaño de la muestra de evaluación y el costo de la evaluación aumentan con la escala de la intervención, (ii) conforme aumenta la escala, es más difícil encontrar un número suficiente de unidades para incluirlas en la evaluación, y (iii) hay más probabilidades de poner en riesgo la validez externa de la evaluación con unidades de intervención a gran escala.

Por este motivo la escala mínima de intervención aplicada para la evaluación ex ante de la posible implementación de DVB-RCT2, se la realizó tomando como ejemplo las parroquias rurales de los cantones Riobamba y Guano de la provincia de Chimborazo en Ecuador. En donde las primeras fueron el grupo de tratamiento y las segundas el grupo de comparación, debido a que ambos grupos cumplieron los siguientes tres aspectos: (i) tanto las parroquias rurales del cantón Riobamba, como las del cantón Guano, pertenecen a la provincia de Chimborazo, por lo que presentan similar nivel socioeconómico, lo que permitirá conocer cuántos hogares disponen de TV analógica y de conexión a Internet, (ii) las parroquias rurales de los dos cantones reaccionarían de la misma manera al proyecto para proveer de conectividad a Internet en zonas rurales., y (iii) ambos grupos, no están expuestos a otras intervenciones externas con respecto a la provisión de Internet, ni de forma local ni de forma gubernamental.

Con el cumplimiento de estas condiciones, se asegura que sólo la posible implementación de DVB-RCT2 para proveer Internet a zonas rurales donde sólo llega la señal de TV, proveerá alguna diferencia en el resultado (contrafactual) de los grupos señalados.

Confirmar que el diseño de la evaluación es ético

El diseño de la evaluación para esta investigación es ético, ya que cumple con los principios enumerados en (Gertler et al, 2011).

Formar un equipo de evaluación

El equipo de evaluación lo conformaron los autores del artículo, y se encargaron de: (i) definir los principales objetivos, preguntas sobre la evaluación, indicadores y necesidades de información, además de seleccionar la metodología de evaluación, (ii) realizar los cálculos de potencia y muestreo, (iii) diseñar los instrumentos de recolección de datos, (iv) tabular los datos obtenidos mediante los instrumentos de recolección, y (v) realizar el informe de evaluación.

Definir el cronograma de la evaluación

De acuerdo al plan de investigación aprobado por la Universidad Politécnica de Valencia, para el desarrollo de esta investigación, se tuvo un plazo de cinco meses.

Definir el presupuesto para la evaluación

Por ser un estudio de tesis doctoral, los gastos fueron los mismos que para  la obtención del título de PhD.

2.3. Fase 3 – Elegir la muestra de una población dada

Decidir el tamaño de la muestra

Al tratarse de una evaluación ex ante, los datos existentes deberían ser suficientes para realizar la evaluación de impacto, sin embargo los obtenidos del censo de población y vivienda realizado por el INEC en el 2010 son muy generales, por tal motivo se recolectaron datos adicionales, para definir el tamaño mínimo de la muestra.

Decidir la estrategia de muestreo

Para definir la estrategia de muestreo, se determinó primero la población de interés, siendo esta la perteneciente a las zonas rurales de las parroquias de Riobamba (grupo de tratamiento) y Guano (grupo de comparación) ubicadas en la provincia de Chimborazo. Obteniendo según (INEC, 2016), una población de 69.018 habitantes en las zonas rurales de Riobamba; y de 26.334 en las zonas rurales de Guano. Lo que da un total de 95.532 habitantes. En segundo lugar de los habitantes de las zonas rurales de las parroquias antes mencionadas se obtuvo la muestra, mediante la aplicación del muestreo aleatorio simple, debido a que cada unidad de la población tuvo la misma posibilidad de ser extraída. Con lo anteriormente mencionado se aplicó la fórmula para calcular la muestra, detallada en la ecuación 1.

De la aplicación de la fórmula se determinó que la muestra idónea para la aplicación de las encuestas a los habitantes de las parroquias rurales de los cantones Riobamba y Guano fue de 382 y 379 respectivamente. Siendo la muestra total de 761 habitantes.

3.1 Fase 4 – Recolectar datos

Desarrollar el cuestionario

Luego de conocer las muestras por cada parroquia, y a fin de realizar la evaluación ex ante de la implementación de DVB-RCT2, se elaboró una entrevista con preguntas cerradas, considerando los indicadores seleccionados anteriormente.

Prueba piloto de la técnica de recolección empleada y tabular resultados

Se realizó una prueba piloto en la parroquia San Luis del cantón Riobamba, para comprobar el formato y la claridad del cuestionario; tomando como submuestra el 10% de la muestra calculada para esta parroquia, efectuando la entrevista a 6 personas. En las figuras de la 2 a la 5, muestran resultados de la entrevista aplicada en Riobamba.

Figura 2
Resultados pregunta 1

Fuente: Elaboración propia

-----

Figura 3
Resultados pregunta 2

Fuente: Elaboración propia

-----

Figura 4
Resultados pregunta 3

Fuente: Elaboración propia

-----

Figura 5
Resultados pregunta 4

Fuente: Elaboración propia

Análisis de resultados entre los habitantes de los cantones Riobamba y Guano.

Para el grupo de tratamiento (habitantes cantón Riobamba), versus el grupo de comparación (habitantes cantón Guano), se pudo comprobar que existe una cantidad similar de estudiantes de nivel secundario entre estos dos cantones, que fluctúa entre el 54 y el 58%, además en el cantón Guano el 100% de la población entrevistada cuenta con el servicio de TV, mientras que en el cantón Riobamba, existe un 99% de la población con este servicio. Con lo que respecta a Internet, Riobamba tiene solamente un 45% de habitantes con este servicio, mismo que lo utilizan en promedio de 2 a 4 horas al día, utilizando computadoras de escritorio para el efecto; mientras que los habitantes de Guano, cuentan con un 61% de su población con este servicio, con un promedio de utilización de 4 a 6 horas, utilizando equipos portátiles. En los dos cantones los pobladores califican la conexión actual como medianamente lenta y la utilizan en su mayoría para fines académicos. Cerca del 83% de la población de Riobamba, está interesada en contar con una conexión a Internet de bajo costo, comparado con el 69% de la población de Guano que requiere el mismo servicio. Como se puede discernir el grupo de comparación supera al grupo de tratamiento, por lo que se espera que con la posible implementación del estándar de TDT (DVB-RCT2),  provea de conexión a Internet a los pobladores de las parroquias rurales del cantón Riobamba, reduciendo de esta manera la brecha digital y permitiendo la difusión de contenidos digitales educativos, permitiendo que existan servicios interactivos que brinden accesibilidad (García et al, 2012) a la población de estas zonas.

Se pudo constatar la tecnología de TDT DVB-RCT2 podría ser una propuesta innovadora para brindar acceso a Internet a zonas rurales, y para difundir contenidos digitales educativos mediante el uso de aplicaciones TICS, puesto que una vez que se tiene desplegada la infraestructura de TDT para recepción fija se podría reutilizar esta, para proporcionar servicios de conectividad a Internet, y utilizando los mismos, se difundirían las aplicaciones educativas a este tipo de zonas, con lo cual se podría disminuir la brecha digital existente.

Conociendo que los habitantes de las parroquias rurales del cantón Riobamba fueron el grupo de tratamiento, mientas que los habitantes de las parroquias rurales del cantón Guano fueron el grupo de comparación, se observa que el grupo de comparación supera al grupo de tratamiento, por lo que se espera que con la posible implementación de esta nueva tecnología de televisión, se pueda en este caso en particular, mejorar sustancialmente la conexión a Internet de los pobladores de las parroquias rurales del cantón Riobamba, para permitirles el acceso a aplicaciones TICs de utilidad tanto académica como personal.

Abdalá., E. (2004). Manual para la elaboración de impacto en programas para jóvenes. Bogotá: Federación Internacional Fe y Alegría.

Alvarado, E., Choez, L., Pérez, J. (2017). Tecnología Wi-Fi para cubrir déficit de telefonía fija en zonas rurales. Revista Portal del Conocimiento, 7(2), 188-205.

Bello, R. (noviembre, 2009). Modulo 3. Evaluación de impacto. Documento presentado en el Curso Taller Evaluación de Impacto. Santiago de Chile. Recuperado de https://www.cepal.org/ilpes/noticias/paginas/9/37779/impacto_rbbcproy.pdf

Cobeña, X (2016). Selección de indicadores de gestión y desarrollo territorial en municipalidades. Revista ECA Sinergia, 7(1), 107-120.

Gairín, J (2010). La evaluación del impacto en programas de formación. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación (RINACE), 8(5) 20-43.

Gallego, F. (2013). Social TV Analytics: Nuevas métricas para una nueva forma de ver televisión. Revista científica de  comunicación aplicada, 3(1), 1-27.

García, A., Ruíz, B., González, I., López, J. (2012). Servicios Interactivos y Accesibilidad en la Televisión Digital, una Oportunidad para Reducir la Brecha Digital. Revista IEEE-RITA, 7(2), 86-93.

Gertler, P., Martínez, S., Premand, P., Rawlings L., Vermeersch, C. (2011). La Evaluación de impacto en la práctica. Washington: Banco Mundial.

INEC. (2016). Ecuador en cifras. Estadísticas. Recuperado de: http://www.ecuadorencifras.gob.ec/ecuador-en-cifras/

Milanés, Y., Solís, F., Navarrete, J. (2010). Aproximaciones a la evaluación del impacto social de la ciencia, la tecnología y la innovación. ACIMED, 21(2), 1-15.

Radicelli, C., Cardona, N. (2016). Parámetros configurables de capa física y MAC de un nuevo estándar de TDT con canal de retorno inalámbrico para proporcionar conectividad a Internet en zonas rurales de Latinoamérica. Revista DYNA Colombia, 83(198), 16-26.

Radicelli, C., Cardona, N., Gómez, D. (2015). A Second-Generation Digital Terrestrial Television Wireless Return Channel Standard for Providing Internet Connectivity in Rural Areas in Latin America. Revista IEEE Latin American Transactions, 13(9), 2837-2844.

Rivadeneira, E. (2017). Lineamientos teóricos y metodológicos de la investigación cuantitativa en ciencias sociales Revista In Crescendo, 8(1), 121-127.

RONDÓN LEÓN, Leonor. Indicadores del impacto de la ciencia y la tecnología (CT) en la sociedad: reflexiones y avances. Revista Espacios. Vol 25, Año 2004 Número 02, Pág. 1-12. Recuperado de: http://www.revistaespacios.com/a04v25n02/04250225.html#pres

Suing, A., Mier, C., Ordoñez, K. (2014). Interactividad, dividendo digital e información en la implementación de la TDT, estudio de Ecuador. Revista Latina de Comunicación Social, 69, 508-531.

Urrutia, M., Vega., M. (2012). Aproximación a la semántica del contrafactual. Estudios filológicos, 49, 157-173.

1. PhD en Telecomunicación. Docente investigador Grupo de Aprendizaje Ubicuo. Universidad Nacional de Chimborazo (UNACH). cradicelli@unach.edu.ec

2. PhD en Diseño, Gestión y Fabricación de Proyectos Industriales. Docente investigadora Grupo de Aprendizaje Ubicuo. Universidad Nacional de Chimborazo (UNACH). margaritapomboza@unach.edu.ec

3. MsC en Informática Educativa. Docente investigadora Grupo de Aprendizaje Ubicuo. Universidad Nacional de Chimborazo (UNACH). cpomboza@unach.edu.ec

4. MsC en Gestión de Sistemas de Información e Inteligencia de Negocios. Analista de sistemas informáticos. Universidad Nacional de Chimborazo (UNACH). cmorales@unach.edu.ec