El cambio que representa el cómo se almacena y se accede a los datos en Ax 2012 vs Dynamics 365 F&O viene de la fuente de información, ya que los datos ahora están en la nube. Anteriormente era posible –aunque no recomendable- acceder directamente a la base de datos de Ax 2012, sin embargo, en D365F&O esta característica ya no existe, aunque Microsoft ofrece soluciones alternas.

Actualmente la base de D365FO está diseñada para trabajar con la aplicación eficientemente para las transacciones de procesos, no para ejecutar análisis. De aquí se desprenden los dos grandes retos al momento de trabajar con la extracción de grandes volúmenes de información en D365FO.

Uno de ellos es al momento de trabajar en la extracción de grandes volúmenes de información en D365FO y saber elegir cuál de las herramientas utilizar, encontrándonos con Entity Store, Data entities, OData, Data lake, Power BI.

Adicional a esto, siempre se busca tener el mejor desempeño en la extracción de datos, ya que los datos se encuentran en tablas altamente normalizadas, lo que complica un poco la lectura de datos.

Entity Store (Ax Data Warehouse – AxDw)

El Ax Data warehouse contiene una copia de datos de una o más bases de datos y lo pone a disposición para análisis e informes. Los datos que contiene están estructurados en un diseño optimizado para informes. Las reglas definen cómo se conectan o relacionan los registros de la base de datos.

Caracteristicas:

• Optimizado para grandes cantidades de data workloads
• Reportes embebidos directamente dentro de D365 app
• En VS se construye y se realiza el deploy de Aggregate Measures. El entity store se actualizará al enviar info hacia AxDw desde D365F&O.
• Power BI puede leer directamente desde el AxDw, haciendo query directo.

Entity Store (Data Lake)

Un data lake es un repositorio de almacenamiento que mantiene los datos en su formato nativo (estructurado o no estructurado) hasta que se necesite. Un diseño de almacén de datos tradicional requiere datos altamente estructurados. Un lago de datos puede almacenar grandes volúmenes de datos de dispositivos sensores IoT, aprendizaje automático y grandes fuentes de datos. Debido a que la información no tiene que ser limpiada o indexada por adelantado, hay un gasto mínimo.

Se busca que el Data Lake complemente al AxDW, no que lo sustituya, ya que el lago va a necesitar un proceso alterno para catalogar y limpiar los datos, a diferencia de AxDW donde los datos ya estarán indexados y optimizados adecuadamente.

Tablas principales, entidades de datos y Aggregate Measures definidas en aplicaciones de Finance and Operations estarán disponibles en su propio lago de datos (Data Lake Storage Gen2). Los datos se actualizan y se mantienen actualizados. No es necesario administrar la programación de exportación.

Las tablas principales, las entidades y las medidas agregadas se definen en Common Data Model junto con atributos, definiciones y relaciones ricas. Los datos exportados al lago de datos se describen en Common Data Model. La estructura de datos en Data Lake Storage Gen2 refleja la organización de las definiciones de datos en Common Data Model. Los datos almacenados en Data Lake Storage se describen utilizando metadatos, según define la especificación del lenguaje Common Data Model. Esto permite que las herramientas existentes entiendan la semántica y las relaciones de datos: se alimentan de datos en el lago de datos.

En VS se construye y se realiza el deploy de Aggregate Measures. El entity store se actualizará al enviar info hacia el Data lake.

Habilitar el Entity Store para enviar a un Data Lake

Paso 1. En D365F&O habilitar Entity Store para integración con Data Lake

Primero de habilita la actualización automática del Entity Store, antes de habilitar la integración con Data Lake, desde Administración del sistema – Configurar – Almacén de entidades

En los mensajes, visualizamos la opción de habilitar la actualización automática, una vez cambiada la selección, no es posible regresar a como originalmente estaba y así nos lo muestra un mensaje.

Después de esto, se visualiza la nueva pantalla donde visualizamos todos los Aggregate Measurements, estos son los mismos que se muestran del lado de VS en el nodo de Analytics – Perspectives – Aggregate Measurements

En cada Aggregate measurement es posible habilitar la actualización por cada una donde podemos elegir la periodicidad.

Paso 2. Datos del Entity Store en el Azure Data Lake (full push y trickle feed)

Antes de llevar los datos al Data Lake, son necesarios los siguientes requisitos:

• Crear una cuenta de storage
• Crear un Key Vault y un secret
• Registro de la aplicación
• Agregar un service principal al key vault

Crear una cuenta de storage. Debe crearse en la misma localidad que donde se encuentra el almacenamiento de nuestro D365F&O, en este caso, en la imagen se muestra en Centro Sur de E.E. U.U.

Para habilitar nuestra cuenta de almacenamiento como un Data Lake, en opciones avanzadas, seleccionamos la opción de «Data Lake Storage Gen2»

Una vez creado el almacenamiento, copiamos la cadena de conexión que se ubica en las claves de acceso, entro de «Configuración»

Crear Key Vault. Dentro de azure, el siguiente paso es crear nuestro Key Vault configurando la región igual a la cuenta de almacenamiento e igual a D365F&O

Posterior a esto, se creará un secret, colocando en «Value» la cadena de conexión que copiamos de nuestra cuenta de almacenamiento

Registro de la aplicación. Se crea un registro de aplicación otorgando permisos al Key Vault y otorgando permisos delegados

Se crea el nuevo secreto

Agregar un service principal a la Key Vault.
En la Key Vault que creamos, vamos a la configuración para agregar una nueva directiva de acceso (Access policies).

En permisos clave (key permissions) y en Permisos de secretos (Secret permissions) seleccionamos: obtener y enumerar (Get y List).

En la opción de “Seleccionar la entidad de seguridad” (Select principal) agregamos el nombre del registro de aplicación que hicimos anteriormente.

Finalmente copiamos el nombre del DNS de nuestro Key Vault porque se va a usar en la configuración del data lake.

Paso 3. Configuración del Data Lake en dynamics. En Administración del sistema – Configurar – Parámetros del sistema (System administration > Set up > System parameters)

Validación de parámetros, hacemos clic sobre «Probar Azure Key Vault» y después sobre «Probar Azure Storage», si la validaciín es correcta, con esto nos aseguramos que los valores que colocamos en cada campo son correctos y que podemos comenzar a enviar los datos del Entity Store hacía el data lake.

Vemos el resultado de la sincronización en Azure Storage Explorer y visualizamos los csv en cada aggregate measurements

También es posible visualizarlos en el portal de azure:

Y si abrimos alguno de los csv dentro de los aggregate measurements podemos ver la información:

---

• Customization Analysis Report (CAR) en Microsoft Dynamics 365 Finance and Operations
• Enviar información de D365F&O a un Data Lake
• AI Builder Power Apps
• Grow IT, Best Place to Code 2020 «Categoría ISV»
• Servicios Cognitivos de Microsoft «Custom Vision»