2. If you want the Ignite cluster to be authoritative about caches, then you should define them in the XML configuration or deploy your servers with code which can look up the intended cache configurations and implement them. If you have specific ideas how you would like to implement this, maybe you could write your own extension? If the idea is really good, it has a strong possibility of adoption by the community which maintains Ignite.
5. Cache metadata must be persisted as a side effect of persisting the data across reboots. We have many customers using external persistence in their enterprises, however we always recommend GridGain over Ignite when business needs are more important than freedom to experiment. Please have a look at how metadata is persisted for use with native persistence, and maybe you could use that as a basis to experiment with persistent in-memory-only cache definitions. Most use cases relying on dynamic caches are designed around the cache client having authority over what is cached. I urge you to think about cases when the client using a dynamic cache disagrees with the servers or other clients about what and how data should be cached as persisting cache metadata on the server from client asserted dynamic caches creates duplicate declarations of intent about cache configuration. On Tue, Feb 6, 2024 at 2:37 PM Нестрогаев Андрей Викторович < a.nestrog...@flexsoft.com> wrote: > 2. I understood, You are talking about placing the cache in a persistent > data region and at the same time enabling the read-through, write-through > caches mode. > > > > Thank you. This is, of course, a double penalty, but I’ll think about it > and test this mode. > > > > 5. It seems that Ignite has refocused on native persistence, and less > attention is paid to the functions of working in reliable cache mode. It > seems to me that the ability to use any other persister through SPI > instead of a native one, like many other things have been done, would be a > cool opportunity. So far, the use of external databases looks very > unenterprise ready > > > > Andrey > > > > *From:* Нестрогаев Андрей Викторович > *Sent:* Tuesday, February 6, 2024 10:03 PM > *To:* user@ignite.apache.org > *Subject:* RE: ignite + external database > > > > Thanks Stephen, > > > > 2. «You can, actually, enable persistence and connect to a third-party > data store» - is this feature is not the same as using “external database”? > coude you please give the link to the documentation > > > > 5. Ignite seems to have to know which partitions are lost, and in theory > it doesn’t cost him anything to place these partitions on the remaining > nodes (rebalancing) and execute the loadCache for lost partitions. > > > > Andrey > > > > *From:* Stephen Darlington <sdarling...@apache.org> > *Sent:* Tuesday, February 6, 2024 9:09 PM > *To:* user@ignite.apache.org > *Subject:* Re: ignite + external database > > > > 1. With a memory-only cluster, Ignite does not store any persistent > information. You'd need to save your table definitions somewhere yourself > 2. If it saved data, it would be a database rather than an in-memory > data grid! You can, actually, enable persistence and connect to a > third-party data store. It would, however, persistent the data, not just > the metadata > 3. Data is rebalanced between Ignite nodes > 4. Assuming you're using the built-in JDBC Cache Store implementation, > it basically does a "SELECT * FROM table" on each node and discards any > data that should be stored elsewhere > 5. You'd get "lost partitions." Restoring the missing data is up to > you. Kind of by definition, Ignite has lost some data and it doesn't know > what it's missing > > > > On Tue, 6 Feb 2024 at 16:09, Нестрогаев Андрей Викторович < > a.nestrog...@flexsoft.com> wrote: > > Hi All, I'm trying to use ignite (2.16) as an In-memory data grid > (read-through / write-through caches), i.e. case described here > https://ignite.apache.org/use-cases/in-memory-data-grid.html > > > > Several questions arose: > 1. How is it recommended to store metadata for caches created dynamically > during the life of the cluster so that they survive a complete reboot of > the cluster? > 2. Why can’t ignite save this cache metadata, just as it saves information > about the base topology when we configure default data region to use > persistence? > 3. If a new node is joined to the base topology, how does rebalancing > occur: is some data moved from other nodes, or are caches on the new node > loaded from the database? > 4. How does the initial loading of the partitioned cache from the database > occur: each node loads they data it itself, or loads the node on which > loadCache was initiated, or something else? > 5. If both the primary node and backup node “died” at the same time, how > will the cluster be restored and data loaded from the database? > > > > Thanks for the help in advance. > > > > Andrey. > > *Настоящее сообщение или любые приложения к нему могут содержать > конфиденциальную информацию и другую информацию, защищаемую от раскрытия и > принадлежащую АО «ФлексСофт». Ее разглашение или иное использование без > согласования с АО «ФлексСофт» является нарушением законодательства > Российской Федерации. Любое действие, направленное на копирование, > передачу, распространение каким-либо образом и с помощью каких-либо средств > как самого письма, так и информации, содержащейся в нем (в том числе в виде > приложений), запрещено. Отправитель настоящего сообщения не несет > ответственность за точность и полноту передачи информации, содержащейся в > настоящем сообщении, а также за своевременность ее получения. Если Вы > получили настоящее сообщение по ошибке, пожалуйста, сообщите об этом > отправителю, а затем удалите его и любые копии с Вашего компьютера. > Настоящее электронное сообщение и содержащаяся в нем информация, или любые > приложения к нему, не является официальной позицией АО «ФлексСофт» и не > влечет финансовые или иные обязательства АО «ФлексСофт»; не могут > использоваться и не являются какого-либо рода офертой, акцептом оферты, > или предложением делать оферты, или совершать акцепт оферты, не является > рекламой или профессиональным советом, прогнозом любых событий, если иное > прямо не предусмотрено в настоящем сообщении или любых приложениях к нему. > АО «ФлексСофт» не несет ответственность за любые прямые или косвенные > убытки от использования получателем или иным лицом сведений настоящего > сообщения и/или приложений к нему.* > * Информация, передаваемая по сети Интернет, без использования технических > средств защиты, является не защищенной от противоправных действий третьих > лиц и может содержать вредоносные программные средства. АО «ФлексСофт» не > несет ответственности за данные действия.* > > > *Настоящее сообщение или любые приложения к нему могут содержать > конфиденциальную информацию и другую информацию, защищаемую от раскрытия и > принадлежащую АО «ФлексСофт». Ее разглашение или иное использование без > согласования с АО «ФлексСофт» является нарушением законодательства > Российской Федерации. Любое действие, направленное на копирование, > передачу, распространение каким-либо образом и с помощью каких-либо средств > как самого письма, так и информации, содержащейся в нем (в том числе в виде > приложений), запрещено. Отправитель настоящего сообщения не несет > ответственность за точность и полноту передачи информации, содержащейся в > настоящем сообщении, а также за своевременность ее получения. Если Вы > получили настоящее сообщение по ошибке, пожалуйста, сообщите об этом > отправителю, а затем удалите его и любые копии с Вашего компьютера. > Настоящее электронное сообщение и содержащаяся в нем информация, или любые > приложения к нему, не является официальной позицией АО «ФлексСофт» и не > влечет финансовые или иные обязательства АО «ФлексСофт»; не могут > использоваться и не являются какого-либо рода офертой, акцептом оферты, > или предложением делать оферты, или совершать акцепт оферты, не является > рекламой или профессиональным советом, прогнозом любых событий, если иное > прямо не предусмотрено в настоящем сообщении или любых приложениях к нему. > АО «ФлексСофт» не несет ответственность за любые прямые или косвенные > убытки от использования получателем или иным лицом сведений настоящего > сообщения и/или приложений к нему. Информация, передаваемая по сети > Интернет, без использования технических средств защиты, является не > защищенной от противоправных действий третьих лиц и может содержать > вредоносные программные средства. АО «ФлексСофт» не несет ответственности > за данные действия.* >
