Esta sección contiene temas relacionados con Dynamics 365 F&O

Enviar información de D365F&O a un Data Lake

El cambio que representa el cómo se almacena y se accede a los datos en Ax 2012 vs Dynamics 365 F&O viene de la fuente de información, ya que los datos ahora están en la nube. Anteriormente era posible –aunque no recomendable- acceder directamente a la base de datos de Ax 2012, sin embargo, en D365F&O esta característica ya no existe, aunque Microsoft ofrece soluciones alternas.

Actualmente la base de D365FO está diseñada para trabajar con la aplicación eficientemente para las transacciones de procesos, no para ejecutar análisis. De aquí se desprenden los dos grandes retos al momento de trabajar con la extracción de grandes volúmenes de información en D365FO.

Uno de ellos es al momento de trabajar en la extracción de grandes volúmenes de información en D365FO y saber elegir cuál de las herramientas utilizar, encontrándonos con Entity Store, Data entities, OData, Data lake, Power BI.

Adicional a esto, siempre se busca tener el mejor desempeño en la extracción de datos, ya que los datos se encuentran en tablas altamente normalizadas, lo que complica un poco la lectura de datos.

Entity Store (Ax Data Warehouse – AxDw)

El Ax Data warehouse contiene una copia de datos de una o más bases de datos y lo pone a disposición para análisis e informes. Los datos que contiene están estructurados en un diseño optimizado para informes. Las reglas definen cómo se conectan o relacionan los registros de la base de datos.

Caracteristicas:

  • Optimizado para grandes cantidades de data workloads
  • Reportes embebidos directamente dentro de D365 app
  • En VS se construye y se realiza el deploy de Aggregate Measures. El entity store se actualizará al enviar info hacia AxDw desde D365F&O.
  • Power BI puede leer directamente desde el AxDw, haciendo query directo.

Entity Store (Data Lake)

Un data lake es un repositorio de almacenamiento que mantiene los datos en su formato nativo (estructurado o no estructurado) hasta que se necesite. Un diseño de almacén de datos tradicional requiere datos altamente estructurados. Un lago de datos puede almacenar grandes volúmenes de datos de dispositivos sensores IoT, aprendizaje automático y grandes fuentes de datos. Debido a que la información no tiene que ser limpiada o indexada por adelantado, hay un gasto mínimo.

Se busca que el Data Lake complemente al AxDW, no que lo sustituya, ya que el lago va a necesitar un proceso alterno para catalogar y limpiar los datos, a diferencia de AxDW donde los datos ya estarán indexados y optimizados adecuadamente.

Tablas principales, entidades de datos y Aggregate Measures definidas en aplicaciones de Finance and Operations estarán disponibles en su propio lago de datos (Data Lake Storage Gen2). Los datos se actualizan y se mantienen actualizados. No es necesario administrar la programación de exportación.

Las tablas principales, las entidades y las medidas agregadas se definen en Common Data Model junto con atributos, definiciones y relaciones ricas. Los datos exportados al lago de datos se describen en Common Data Model. La estructura de datos en Data Lake Storage Gen2 refleja la organización de las definiciones de datos en Common Data Model. Los datos almacenados en Data Lake Storage se describen utilizando metadatos, según define la especificación del lenguaje Common Data Model. Esto permite que las herramientas existentes entiendan la semántica y las relaciones de datos: se alimentan de datos en el lago de datos.

En VS se construye y se realiza el deploy de Aggregate Measures. El entity store se actualizará al enviar info hacia el Data lake.

Habilitar el Entity Store para enviar a un Data Lake

Paso 1. En D365F&O habilitar Entity Store para integración con Data Lake

Primero de habilita la actualización automática del Entity Store, antes de habilitar la integración con Data Lake, desde Administración del sistema – Configurar – Almacén de entidades

Almacén de datos (Entity store)

En los mensajes, visualizamos la opción de habilitar la actualización automática, una vez cambiada la selección, no es posible regresar a como originalmente estaba y así nos lo muestra un mensaje.

Después de esto, se visualiza la nueva pantalla donde visualizamos todos los Aggregate Measurements, estos son los mismos que se muestran del lado de VS en el nodo de Analytics – Perspectives – Aggregate Measurements

En cada Aggregate measurement es posible habilitar la actualización por cada una donde podemos elegir la periodicidad.

Paso 2. Datos del Entity Store en el Azure Data Lake (full push y trickle feed)

Antes de llevar los datos al Data Lake, son necesarios los siguientes requisitos:

  • Crear una cuenta de storage
  • Crear un Key Vault y un secret
  • Registro de la aplicación
  • Agregar un service principal al key vault

Crear una cuenta de storage. Debe crearse en la misma localidad que donde se encuentra el almacenamiento de nuestro D365F&O, en este caso, en la imagen se muestra en Centro Sur de E.E. U.U.

Para habilitar nuestra cuenta de almacenamiento como un Data Lake, en opciones avanzadas, seleccionamos la opción de «Data Lake Storage Gen2»

Una vez creado el almacenamiento, copiamos la cadena de conexión que se ubica en las claves de acceso, entro de «Configuración»

Crear Key Vault. Dentro de azure, el siguiente paso es crear nuestro Key Vault configurando la región igual a la cuenta de almacenamiento e igual a D365F&O

Posterior a esto, se creará un secret, colocando en «Value» la cadena de conexión que copiamos de nuestra cuenta de almacenamiento

Registro de la aplicación. Se crea un registro de aplicación otorgando permisos al Key Vault y otorgando permisos delegados

Permisos en registro de aplicación
Permisos delegados en registro de aplicación para Key Vault

Se crea el nuevo secreto

Secret en registro de aplicación

Agregar un service principal a la Key Vault.
En la Key Vault que creamos, vamos a la configuración para agregar una nueva directiva de acceso (Access policies).

En permisos clave (key permissions) y en Permisos de secretos (Secret permissions) seleccionamos: obtener y enumerar (Get y List).

En la opción de “Seleccionar la entidad de seguridad” (Select principal) agregamos el nombre del registro de aplicación que hicimos anteriormente.

Finalmente copiamos el nombre del DNS de nuestro Key Vault porque se va a usar en la configuración del data lake.

Paso 3. Configuración del Data Lake en dynamics. En Administración del sistema – Configurar – Parámetros del sistema (System administration > Set up > System parameters)

Parámetros del sistema – configuración de Data Lake

Validación de parámetros, hacemos clic sobre «Probar Azure Key Vault» y después sobre «Probar Azure Storage», si la validaciín es correcta, con esto nos aseguramos que los valores que colocamos en cada campo son correctos y que podemos comenzar a enviar los datos del Entity Store hacía el data lake.

Vemos el resultado de la sincronización en Azure Storage Explorer y visualizamos los csv en cada aggregate measurements

También es posible visualizarlos en el portal de azure:

Y si abrimos alguno de los csv dentro de los aggregate measurements podemos ver la información:

Visualización de csv en data lake

Consumir un servicio SOAP Custom utilizando SoapUI

En algunas ocasiones es necesario consumir un servicio SOAP que codificamos para Dynamics 365 Finance and Operation, desde .Net el proceso de autenticación es más claro pero cuando interactuamos con algún otro lenguaje de programación es muy útil proporcionar el ejemplo de consumo en una herramienta como SoapUI.

Para ello vamos a realizar los siguientes pasos :

Primero creamos nuestro proyecto de tipo SOAP desde el botón SOAP e ingresamos el WSDL y el nombre.

Una vez creado nuestro proyecto lo primero que vamos a configurar va a ser un TestCase para poder generar un token y así poder consumir el servicio. Dentro del proyecto agregamos un nuevo elemento de tipo TestSuit y a su vez dentro de este agregamos un TestCase.

Finalmente, dentro de nuestro TestCase creamos un Step de tipo HTTP Request, asignamos un nombre.

Ya dentro de la ventana de configuración en el campo EndPoint ingresamos la url junto con el tenant id del cliente https://login.microsoftonline.com/”Id tenant”/oauth2/token, después

Agregamos los siguientes 4 parámetros en los 3 últimos utilizaremos los datos del cliente para llenar los campos value. Finalmente, el campo method lo cambiamos a POST.

Ya configurado nuestro TestCase lo ejecutamos y nos mandara como resultado el token y el tipo que necesitamos. Copiamos el token y volvemos a nuestro request de prueba que genero automáticamente SOAPUI. 

En la pantalla de nuestro request abrimos la pestaña de Header y agregamos una línea con nombre Authorization y en value escribimos el tipo de token seguido de un espacio y el token que nos generaron los pasos anteriores. Tener cuidado de no remover la palabra “Bearer”

Una vez realizado, puedes llenar el request con los datos específicos del servicio.

Soluciones de almacenamiento en Azure

¿Qué es Azure?

Azure es un servicio de computación en la nube extremadamente flexible con tipos de servicios PaaS (Plataforma como servicio), SaaS (Software como servicio) o IaaS (Infraestructura como servicio) que soporta además arquitecturas completamente en la nube o hibridas, dejando así a los desarrolladores enfocarse en el código sin lidiar con mantenimiento de servidores o gestión de hardware y software.

Una parte importante de los servicios que Azure oferta es que una gran cantidad de ellos se paga por lo que se usa, de esta manera se incentiva la experimentación y la adopción de nuevas tecnologías. Si quisiéramos que nuestra empresa use un SQL Data Warehouse, nos tomaría probablemente semanas o meses para que éste se encuentre operativo on-premise además de la alta inversión inicial. Azure nos permite tener este servicio funcionando en minutos.

Dentro de las muchas ofertas tecnológicas de Azure, una de ellas es el manejo de datos y es en la que se enfocarán estos artículos.


Esta imagen muestra los servicios de Azure en datos, aunque no está actualizada nos servirá en este artículo ya que ilustra la intención de Microsoft de mantenerse en la vanguardia tecnológica y ofrecer un servicio completo a diferentes tipos de necesidades que el cliente o el desarrollador tenga, todo esto en la nube.

Para resumir, ¿Por qué migrar a la nube, y en particular a Azure, mis necesidades de datos?

  • Facilidad de migración y gestión. La creación y gestión de servicios son fáciles y rápidos ya que pueden ser realizados desde el portal de Azure o automatizados usando Azure CLI. La migración es segura y confiable usando herramientas como Microsoft Data Migration Assistant o el servicio de Azure Data Box para grandes cantidades de datos.
  • Compatibilidad y flexibilidad. Usando servicios como Azure Data Factory se puede dirigir los flujos de datos de muchas aplicaciones de forma sencilla ya que existen conectores para SAP, Microsoft Dynamics o AWS. Azure permite también el uso de arquitecturas hibridas o completamente en la nube.
  • Tecnología de punta en unos cuantos clicks. Big Data, Machine Learning, IoT son tecnologías que están siendo usadas exitosamente por una gran cantidad de empresas. El desarrollo y la infraestructura necesaria para usarlas supone un costo prohibitivo. Azure tiene todo listo para que esta tecnología sea aprovechada por el desarrollador sin preocupaciones extra.

¿Qué servicios usar?

La gran cantidad de opciones que tenemos puede llegar a intimidar y aunque existen muchos recursos en línea para ayudarnos con nuestras dudas, algunos son contradictorios o no son del todo claros.

Para hablar con claridad acerca de los servicios de Azure debemos recordar algunas definiciones que nos ayudaran a distinguir y hacer una buena elección.

  • Datos Estructurados. Mejor conocidos como SQL, son tabulares y generalmente relacionales. Datos muy organizados que siguen un esquema.
  • Datos Semiestructurados. No necesariamente siguen un esquema y no son tan organizados. Por ejemplo, datos Json o XML.
  • Datos no estructurados. Datos difíciles de interpretar como logs binarios, vídeos o imágenes.

Además de diferentes tipos de datos hay diferencias en los objetivos de las bases de datos.

  • Transaccional. Generalmente operativas, se enfocan en garantizar velocidad e integridad al realizar operaciones. Una transacción es aquella que cumple la propiedad ACID (Atomicidad, Consistencia, Aislamiento y Durabilidad). Por ejemplo, bases de datos bancarias.
  • Analítica. Almacena datos históricos que pueden ser usados para obtener información de negocio y alimentar el proceso de toma de decisiones. Por ejemplo, SQL Data Warehouse.

Una vez recordado estas definiciones la siguiente imagen que muestra algunos servicios importantes de Azure que pueden ser de utilidad para planear un proyecto en la nube de almacenamiento.

* CosmosDB soporta transacciones únicamente al usar Stored Procedures o Triggers

Si mi negocio necesita almacenar imágenes o vídeos para algún tipo de catálogo y no tengo interés en tecnología analítica, alguna implementación de Azure Blob Storage sería lo indicado.

Tengo necesidad de almacenar operaciones transaccionales Azure SQL DB o Azure Cosmos DB es de mi interés. Cosmos DB sería especialmente útil si los datos que voy a almacenar no siguen siempre el mismo esquema o patrón.

Azure Data Lake Gen 2 y Azure Synapse Analytics son bases de datos analíticas enfocadas a big data donde ASA(Azure Synapse Analytics) es la combinación de los servicios de SQL Data Warehouse y Data Lakes, si nuestro negocio tiene necesidad de almacenar transacciones históricas para hacer análisis buscaría usar Azure SQL Data Warehouse, si mis datos no son de bases de datos relacionales usaría Azure Data Lake Gen 2 y si tengo necesidad de ambos Azure Synapse Analytics podría ser la mejor solución.

Además de estas características otro factor que influenciará nuestra decisión es el costo ya que no todas cobra de la misma manera.

¿Por qué usar Data Lake cuando puedo usar Synapse? ¿Si sólo me interesa el almacenamiento sin los servicios de análisis aun así debería de usar un Data Lake? Para responder estas preguntas será necesario hacer un análisis de costos y Microsoft nos apoya también con esto.

Usando esta herramienta y con ayuda de documentación podemos encontrar los servicios de mayor utilidad y menor precio.

En los próximos artículos hablaré un poco mas a detalle de Azure Cosmos DB y Azure Data Lakes haciendo también una pequeña arquitectura con estas herramientas.

Crea una cuenta de Azure gratis.

Documentación.

Configuración en ADFS necesaria para consumir OData y ejemplo de consumo con Postman – Dynamics 365 Finance and Operations